평균 지표의 함정, Synthetic Population Testing으로 해결하는 추천 모델 검증

Context

추천 시스템의 Offline Evaluation은 집계 지표 위주로 작동함. 전체 평균 지표는 특정 사용자 그룹에 대한 모델의 편향된 동작을 은폐함. 상충하는 행동 특성을 가진 사용자 층의 요구사항을 사전에 검증할 방법이 부족한 구조.

Technical Solution

• 단순 평균 지표를 넘어 사용자 특성별로 세분화한 Behavioral Lenses 기반의 평가 체계 도입
• Conservative mainstream, Explorer, Niche-interest, Low-patience 등 4가지 가상 사용자 버킷 정의
• 모델별 Novelty, Repetition, Catalog Concentration 등의 행동 진단 지표를 통한 서명(Signature) 분석
• 정적인 랭킹 측정에서 벗어나 가설 기반의 짧은 Trajectory Simulation을 통한 모델 동작 추적
• Baseline 모델과 Candidate 모델 간의 Segment-aware Utility 비교 분석 프레임워크 구축
• Offline Evaluation, Segment-aware Diagnostics, Synthetic Population Testing, Online Experiment로 이어지는 다층 검증 스택 설계

Impact

• MovieLens 100K 데이터셋 기준 Recall@10(Model A: 0.088 vs Model B: 0.058)과 NDCG@10(Model A: 0.057 vs Model B: 0.036)에서 Baseline(Model A)이 우세함
• 세그먼트 분석 시 Niche-interest 그룹의 Utility가 Model A 0.443에서 Model B 0.722로 0.279 상승
• Explorer 그룹의 Utility가 Model A 0.339에서 Model B 0.523으로 0.184 상승
• Novelty 지표가 Model A 0.395에서 Model B 0.678로 개선됨

Key Takeaway

추천 시스템의 품질은 이질적(Heterogeneous)이므로 단일 집계 지표가 아닌 세그먼트별 행동 프로파일링을 통해 숨겨진 Trade-off를 시각화하는 설계 원칙이 중요함.