딥러닝 (손실함수)

손실함수

 

MSE, RMSE, MAE는 손실함수이다.

 

MSE의 특징

• Mean Square Error는 예측값과 정답의 차이를 제곱하기 때문에, 이상치에 대해 민감하다.
• 정답에 대해 예측값이 매우 다른 경우, 그 차이는 오차값에 상대적으로 크게 반영된다.
• 오차값에 제곱을 취하기 때문에 오차가 0과 1 사이인 경우에, MSE에서 그 오차는 본래보다 더 작게 반영되고,  오차가 1보다 클 때는 본래보다 더 크게 반영된다.
• 모든 함수값이 미분 가능하다. MSE는 이차 함수이기 때문에 아래와 같이 첨점을 갖지 않는다.

RMSE의 특징

 

• MSE에서 루트를 취하기 때문에, MSE의 단점이 커버된다.
• RMSE는 그 MSE에서 루트를 취하기 때문에 미분 불가능한 지점을 갖게된다.
• MSE 보다 이상치에 덜 민감하다. 이 RMSE은 이상치에 대한 민감도가 MSE와 MAE 사이에 있기 때문에, 이상치를 적절히 잘 다룬다고 간주되는 경향이 있다. 

MAE의 특징

• 이상치에 robust하다. 오차값이 outlier의 영향을 상대적으로 크게 받지 않는다.
• RMSE와 비슷하게 함수의 최솟값은 첨점이기 때문에 미분 불가능한 지점이 있다.