Data Leakage 원천 차단을 통한 Model Generalization 확보 및 평가 신뢰도 제고

Context

학습 데이터와 테스트 데이터의 분리 없이 평가를 수행하여 발생하는 Overfitting 문제 분석. 단순 암기로 인한 98%의 가짜 정확도와 실제 데이터 적용 시 성능 급락이라는 신뢰성 한계 직면.

Technical Solution

• Train/Test Split 도입을 통한 학습 데이터와 평가 데이터의 물리적 격리 설계
• 데이터 규모에 따른 분할 비율 최적화(소규모 70/30, 대규모 90/10)로 학습량과 평가 신뢰도 간 Trade-off 조절
• Preprocessing 단계의 순서를 'Split 후 Scale'로 재정의하여 Test set의 통계 정보가 학습 과정에 유입되는 Leakage 방지
• random_state 고정을 통한 데이터 분할의 Reproducibility 확보 및 디버깅 효율성 증대
• 단일 Split의 편향성을 극복하기 위해 K-fold Cross-validation을 통한 모델 검증 로직 강화
• Test set을 최종 평가 단계에서 단 1회만 사용하는 엄격한 Pipeline 구축으로 Indirect Leakage 차단