XGBoost 기반의 Imbalanced Data 최적화로 Fraud Recall 87% 달성

Context

전체 트랜잭션 중 0.17%에 불과한 극소수 Fraud 데이터로 인한 데이터 불균형 문제 발생. 단순 Accuracy 지표 사용 시 99.8%의 가짜 성능 수치가 도출되어 실제 탐지 성능을 왜곡하는 한계 존재.

Technical Solution

• PCA 변환된 익명화 피처를 활용한 패턴 학습 기반의 분류 체계 설계
• Imbalanced Data 해결을 위해 XGBoost의 scale_pos_weight 파라미터를 통한 가중치 조정
• 정밀한 모델 평가를 위해 Accuracy를 배제하고 Precision, Recall, F1 Score 중심의 Metric 체계 도입
• Label 기반의 Supervised Learning과 Anomaly Detection 방식의 Isolation Forest 성능 대조 분석
• SHAP 라이브러리를 도입하여 블랙박스 모델의 의사결정 과정에 대한 Explainability 확보
• Streamlit 기반의 대시보드 구현을 통한 실시간 예측 및 리스크 레벨 가시화

Impact

• XGBoost 모델 적용을 통해 Recall 0.87, Precision 0.71, F1 Score 0.78 달성
• Unsupervised 방식(Isolation Forest) 대비 F1 Score 약 2.6배 성능 향상 확인

Key Takeaway

희소 데이터셋 환경에서는 단순 정확도가 아닌 Recall 중심의 평가 지표 설계가 필수적이며, Label 데이터 존재 시 Anomaly Detection보다 Supervised Learning의 성능 우위가 뚜렷함.