LLM Judge의 검증 부재 해결을 위한 정량적 Calibration 및 Trace 기반의 Feedback Loop 구축

Context

주관적 평가 지표 산출을 위해 LLM Judge를 도입했으나, 해당 모델 자체의 신뢰성을 검증하지 않는 구조적 결함 존재. 특히 Position bias, Verbosity bias, Self-preference 등 비결정적 특성으로 인해 정량적 지표가 실제 사용자 경험과 괴리되는 현상 발생.

Technical Solution

• Human-labeled Golden Set을 활용한 LLM Judge의 정량적 일치도 측정 및 신뢰성 검증 체계 도입
• 단순 정확도 대신 Cohen's kappa 및 Quadratic-weighted agreement를 적용하여 오차의 가중치를 반영한 정밀 평가 수행
• Position-bias Probe 설계를 통해 입력 순서 변경 시의 응답 일관성을 측정하여 무작위성 제거
• CI 파이프라인 내에 certifyJudge 단계를 통합하여 Agreement 0.85 이상 및 Bias 0.1 이하 달성 시에만 릴리스 허용
• LLM Judge의 추론 과정 전체를 기록하는 Trace 시스템을 구축하여 점수 하락의 원인을 분석하는 Debugging Loop 구현
• 모델 업데이트 및 데이터 분포 변화에 대응하기 위한 정기적 Re-certification 스케줄링 적용