Generic Evals 기반 Annotation Queue 도입을 통한 AI 모니터링 정밀도 최적화

Context

범용 평가 지표(Generic Evals)만으로는 제품 특유의 복잡한 Failure Mode를 탐지하지 못하는 한계 존재. 실제 운영 환경의 실패 사례를 미리 예측하여 Eval Script를 작성하는 방식은 정밀도가 낮아 실질적인 신뢰성 확보에 어려움 발생.

Technical Solution

• Generic Evals를 최종 진단 도구가 아닌, 잠재적 결함을 포착하는 Triage용 System Queue로 정의하여 설계
• System Queue에서 플래그된 Trace를 인간 리뷰어가 Annotation 하여 실제 실패 패턴의 Raw Data를 확보하는 파이프라인 구축
• 확보된 Annotation 데이터를 클러스터링하여 제품 특화형 Named Issue로 구체화하는 데이터 구조 채택
• 구체화된 Issue 기반의 실제 사례를 학습 데이터로 활용하여, 추측이 아닌 실증적 근거 기반의 Specific Monitoring Eval 생성
• 인간의 판단과 자동화된 Eval 간의 일치도를 측정하는 Alignment Metric을 도입하여 모니터링 신뢰성 검증 및 지속적 최적화 수행