Observability-Eval 간 37% 격차 해소를 위한 Human-in-the-loop 평가 체계 구축

Context

대다수 AI Agent 팀이 Observability 도구를 통해 실행 궤적(Trace)은 파악하나, 실제 응답의 정답 여부를 판별하는 Evaluation 체계는 부재한 상태. Observability는 단순한 실행 경로의 가시성을 제공할 뿐, 비즈니스 요구사항 및 정책 준수 여부를 판단하는 정성적 평가 레이어를 대체하지 못하는 한계 존재.

Technical Solution

• Tier 1 Fast Checks: PR 단위로 실행되는 결정론적 Unit Test를 통해 Tool 호출 인자 유효성 및 Latency/Token Budget 준수 여부 검증
• Tier 2 Quality Regression: LLM-as-judge를 활용해 정해진 Rubric 기반으로 사실 정확성 및 가이드라인 준수 여부를 대규모로 스코어링
• Tier 3 Production Monitoring: 라이브 트래픽 샘플링 및 지속적 스코어링을 통해 모델 교체나 데이터 분포 변화에 따른 품질 Drift 탐지
• Judge Calibration: LLM-as-judge의 편향성 제거를 위해 도메인 전문가의 Human-labeled data를 Ground Truth로 설정하여 평가 모델 정렬
• Iterative Rubric Refinement: 전문가 간 일치도(Inter-rater reliability) 측정을 통해 모호한 평가 기준을 구체화하여 데이터 신뢰도 확보
• Data-centric Pipeline: 평가 데이터를 학습 데이터 수준의 엄격한 관리 체계로 운영하여 평가 시스템의 신뢰 상한선 결정