Loss function for classification & regression

https://uumini.tistory.com/54

https://excelsior-cjh.tistory.com/198

 

Classification에서 사용하는 기술들에는

• Cross Entropy Loss (예측 확률 분포와 실제 분포 간 차이 측정)
• Focal Loss (CEL의 변형, 불균형 데이터셋에 효과적임)
• Labeling Smoothing (soft label을 사용하여 모델이 지나치게 자신있는 예측하는 것을 방지)

Regression에서 사용하는 기술들에는

• MAE (Mean Absolute Error Loss)
  • 예측 값과 실제 값의 차이의 절대값을 평균하여 계산합니다.
  • 이상치에 덜 민감하며, 더 많은 양의 작은 오차에 대한 중요도를 부여합니다.
  • nn.L1Loss()
• MSE (Mean Squared Error Loss)
  • 예측 값과 실제 값의 차이를 제곱하여 평균을 내는 손실 함수입니다.
  • 일반적으로 예측 오차가 클수록 손실 값이 크게 증가하며, 이상치(outliers)에 민감합니다.
  • nn.MSELoss()
• Huber Loss (Smooth L1 Loss)
  • MSE와 MAE의 장점을 결합한 손실 함수입니다. 오차가 작을 때는 MSE와 유사한 동작을 하지만, 오차가 커질수록 MAE와 유사하게 동작하여 이상치에 대한 민감도를 낮춥니다.
  • nn.SmoothL1Loss()

⇒ 데이터셋에 이상치가 많은 경우, Huber Loss가 더 나은 선택일 수 있습니다. 반면, 이상치가 거의 없고, 작은 오차를 줄이는 것이 중요한 경우, MSE가 더 적합할 수 있습니다.

 

(눈치채셨겠지만 GPT 요약..)

 

https://velog.io/@hewas1230/ObjectDetection-Architecture

Object Detection : Backbone, Neck and Head Architecture

관련은 없지만 백본 관련 쉽고 좋은 글