728x90
1. Accuracy(정확도)
- Accuracy는 전체 예측 건수에서 정답을 맞힌 건수의 비율
Accuracy의 특징
- 가장 직관적으로 모델의 성능을 나타낼 수 있는 평가지표이다.
- domain의 편중(bias)문제가 발생할 수 있다.
- 예를 들어, 더운 지역에 눈이오는 날 수를 예측한다고 할 때, 모두 '오지 않는다'라고만 분류기를 만들어도 분류기는 상당히 높은 정확성을 보일 것이다. 이처럼 data자체의 domain이 불균형할 경우 문제가 생길 수 있다.
2. Precision(정밀도) / Recall(재현율)
Precision의 특징
- Precision(정밀도)은 True라고 분류한 것들 중에서 실제로 True인 것의 비율
- PPV(Positive Predictive Value) Positive 정답률이라 불립니다.
Recall의 특징
- Recall(재현율)은 실제 True인 것 중에서 True라고 예측한 것의 비율
- Sensitivity 혹은 Hit rate이라고 불린다.
- Precision과 Recall은 상호보완적이기 때문에, Recall을 올리면 Precision이 내려가고, Precision을 올리면 Recall이 내려갈 수 밖에 없다.
- 이를 보완한 것이 Recall과 Precision의 조화평균인 F1 score입니다.
3. F1-score
- F1-score는 Recall과 Precision의 조화평균으로 모델을 평가한다.
- 0에서 1사이의 값을 가지며 1에 가까울수록 좋다.
F1-score의 특징
- 산술평균이 아니라 조화평균을 이용하는 이유는 두 지표(Precision, Recall)를 모두 균형있게 반영하기 위해서이다.
- Accuracy와 달리 클래스 데이터가 불균형할 때도 사용하기 좋다.
3-1. Macro-F1
Macro-F1의 특징
- Macro-F1 역시 0과 1사이의 값을 가지며 1에 가까울수록 좋다.
- Macro-F1의 경우 모든 class의 값에 동등한 중요성을 부여한다.
- 즉, 비교적 적은 클래스(rare classes)에서 성능이 좋지 않다면, Macro-F1의 값은 낮게 나타날 것이다.
- Macro-F1은 먼저 class와 label의 각각 F1-score를 계산한 뒤 평균내는 방식으로 작동한다.
- 이외에도 많은 F1 기반 평가산식이 존재하며, python 패키지의 sklearn.metrics.f1_score를 통해 ‘micro’, ‘macro’, ‘samples’,’weighted’, ‘binary’ f1-score를 계산할 수 있습니다.
4. AUC(Area under the ROC Curve)
- ROC curve는 여러 임계값을 기준으로 Recall-Fallout의 변화를 시각화 한 것이다.
- Fall-out(FPR : False Positive Rate)은 실제 False인 데이터 중에서 모델이 True로 분류한 비율을 나타낸 것이다.
- ROC curve는 그래프이기 때문에 명확한 수치로써 비교하기 어렵다. 따라서 그래프 아래의 면적 값을 이용하고 이것이 AUC(Area Under the ROC Curve)이라 한다.
AUC의 특징
- AUC의 최댓값은 1이고 Fall-out에 비해 Recall값이 클수록(좋은 모델일수록) 1에 가까운 값이 나온다.
5. Logloss
- Logloss는 다중 클래스 분류 모델의 평가 방법으로 쓰인다.
- Logloss는 확률 값 자체를 평가 지표로 사용한다.
Logloss의 특징✏️
- Logloss는 분류모델에서 운이 좋아서 그 값을 맞게 예측한 사람과, 실제로 그 값을 맞게 예측한 사람을 분류하는 것에 유용하다.
- 0.2의 확률로 1이라고 예측한 사람보다, 0.9의 확률로 1이라고 예측한 사람이 실제값이 1일 때 더 많은 점수를 얻는다.
- Logloss 값은 0에 가까울수록 정확하게 예측한 것이고, 확률이 낮아질 수록 값이 급격하게 커진다.
이 글은 데이콘 (https://dacon.io/en/forum/405817) 출처로 내가 다시 따라서 정리해봤다!
728x90
'AI 공부 > 딥러닝' 카테고리의 다른 글
pytorch 오류 (0) | 2022.12.23 |
---|---|
TabNet 정리 (0) | 2022.12.12 |
딥러닝 (RNN,LSTM,GRU) (1) | 2022.10.03 |
딥러닝 (손실함수) (0) | 2022.10.02 |
딥러닝 (pytorch) (0) | 2022.10.02 |
댓글