Baseline 기반 통계적 분석을 통한 LLM Agent의 Silent Drift 탐지 및 해결

Context

기존 모니터링 시스템은 Error 500이나 Crash 같은 명시적 장애(Cliff) 탐지에 치중하여 답변 품질의 점진적 저하(Slope)를 감지하지 못하는 한계 존재. 특히 코드 변경 없이도 Model Checkpoint 업데이트나 데이터 분포 변화로 인해 발생하는 성능 감쇠(Drift)는 일반적인 Health Check로 식별 불가능함.

Technical Solution

• 단순 Threshold 기반 알람을 배제하고 신뢰 구간(Trusted Window) 내의 Baseline Mean과 실시간 트래픽의 Recent Mean을 비교하는 통계적 탐지 구조 설계
• z-score를 활용하여 단순 수치 하락이 아닌 통계적으로 유의미한 변동(Noise 대비 유의미한 변화)을 식별하는 로직 구현
• agent-eval을 통한 지속적 Scoring과 AgentLens의 Trace ID 매핑을 결합하여 '현상(Score Drift) -> 원인(Step-level Trace)'으로 이어지는 가시성 확보
• 전체 평균의 함정을 피하기 위해 언어, 도구, 티어별로 Baseline을 세분화(Segmentation)하여 국소적 성능 저하를 조기 발견하는 전략 채택
• Model-as-judge 루브릭과 결정론적 체크를 병행하여 Production 트래픽에 대한 지속적 정량 평가 파이프라인 구축