Aggregate 기반 90% Threshold의 함정, Per-slice Delta Gating으로 Drift 해결

Context

전체 평균 Pass Rate 기반의 고정 Threshold 설정으로 인한 모델 성능 저하 감지 실패 사례. 특정 세그먼트의 심각한 성능 하락이 전체 평균치에 의해 희석되어 Regression이 CI 단계를 통과하는 구조적 결함 발생.

Technical Solution

• 절대적 수치 기반의 Static Threshold를 제거하고 Baseline 대비 변화량을 측정하는 Delta Gating 도입
• 전체 지표와 개별 Slice 지표를 동시에 검증하는 이중 제약 조건 설계
• 개별 Slice의 점수가 Baseline 대비 3포인트 이상 하락 시 즉각적인 Failure 처리로 특정 기능의 성능 급락 방지
• 전체 Aggregate 점수의 하락 폭을 1.5포인트 이내로 제한하여 전반적인 품질 수준 유지
• Baseline을 단순 최신 실행 결과가 아닌 Main 브랜치의 Green 상태 및 인간의 승인 기반으로 업데이트하여 점진적 성능 저하(Slow Drift) 차단
• Variance 분석을 통한 Threshold 최적화로 신호와 소음(Noise)을 구분하는 검증 체계 구축