피드로 돌아가기
Dev.toAI/ML
원문 읽기
Loss Function 선택을 통한 모델 최적화 목표 정의 및 Gradient 제어
Loss Functions: MSE vs MAE vs Cross-Entropy, Visualized
AI 요약
Context
모델 학습의 방향성을 결정하는 Loss Function 설정의 중요성 분석. 잘못된 Loss Function 선택 시 모델이 엉뚱한 목표를 최적화하여 성능 저하 및 학습 실패를 초래하는 문제 해결 필요.
Technical Solution
- Outlier에 민감한 예측이 필요한 Regression 태스크를 위해 오차의 제곱을 계산하는 MSE 채택
- Outlier의 영향력을 억제하고 강건한 모델을 구축하기 위해 절대 오차를 활용하는 MAE 설계
- Classification 태스크에서 확률 기반 예측의 정확도를 높이기 위해 로그 함수 기반의 Cross-entropy 적용
- Confident-and-wrong 사례에 대해 무한대에 가까운 페널티를 부여하여 빠른 수렴 유도
- Backpropagation의 핵심인 Gradient(Slope)의 기울기 변화를 통한 가중치 업데이트 속도 제어
- 태스크 특성에 따라 MSE의 Parabola 형태와 MAE의 V-shape 구조 중 최적의 경사면 선택
실천 포인트
1. Regression 시 Outlier 포함 여부에 따라 MSE(민감) 또는 MAE(강건) 선택 검토
2. Classification 태스크에서는 MSE 대신 Gradient 소실을 방지하고 학습 속도가 빠른 Cross-entropy 적용
3. 모델의 수렴 속도가 느릴 경우 Loss Function의 Gradient Slope가 충분히 가파른지 분석