데이터 Drift 탐지와 SLO 기반 모니터링을 통한 ML 모델 성능 저하 조기 방어

Context

ML 모델은 배포 후 시간이 지남에 따라 입력 데이터와 레이블의 통계적 특성이 변화하는 Erosion 현상이 발생함. 단순 소프트웨어 릴리스 방식의 모니터링으로는 late labels와 복잡한 feedback loop로 인한 Root Cause 분석 비용이 증가하며, 이는 결국 비즈니스 손실로 직결되는 기술 부채를 야기함.

Technical Solution

• 비즈니스 KPI, 모델 품질, 인프라 메트릭의 3계층 Telemetry 구조 설계를 통한 신호 노이즈 분리
• Input $\rightarrow$ Model Artifact $\rightarrow$ Training Data 간의 Deterministic Mapping을 위해 feature_hash와 model_version을 포함한 Data Contract 정의
• 단변량 분석(KS, Chi-Squared)을 통한 빠른 이상 징후 포착과 다변량 분석(MMD, Classifier two-sample test)을 활용한 고차원 Embedding Drift 탐지 병행
• PSI(Population Stability Index) 임계값(0.1 미만 안정, 0.25 이상 조사) 기반의 정량적 Drift 판별 체계 구축
• Shadowing 및 Canary 배포 전략을 통한 자동 Rollback 로직 검증 및 가용성 확보