피드로 돌아가기
Dev.toAI/ML
원문 읽기
LLM Prompt Regression 감지를 위한 Per-Criterion 메트릭 설계 및 Judge 검증 체계 구축
Datadog dashboards for prompt regression: the panels we actually keep
AI 요약
Context
기존의 단일 Pass-rate 기반 모니터링은 개별 기준의 성능 저하를 은폐하는 Masking 효과 발생. 전체 합산 지표가 93%에서 91%로 소폭 하락했으나 실제로는 특정 기준이 96%에서 71%로 급락한 Regression 사례를 통해 통합 지표의 한계 확인.
Technical Solution
- 개별 Criterion별 Pass-rate를 Tag 기반 Custom Metric으로 분리하여 세부 성능 추적 및 디버깅 효율성 확보
- Metric Name에 변수를 넣는 대신 Tag를 활용한 Cardinality 관리 및 동일 패널 내 시각화 구조 설계
- High Cardinality 방지를 위해 40자 Git SHA를 12자로 Truncate 하여 저장하는 최적화 적용
- LLM-as-judge의 신뢰성 확보를 위해 Human-labeled holdout 세트와 Judge 간의 Cohen's Kappa 계수 측정 및 모니터링
- 서비스 헬스 체크 도구인 Datadog에 Eval 메트릭을 통합하여 인시던트 발생 시 단일 관제 포인트(Single Pane of Glass) 구축
- 잦은 알람 방지를 위해 min(last_3) 윈도우 전략을 적용한 Alerting Threshold 설정
실천 포인트
LLM 평가 시 통합 지표(Aggregate Metric)에 의존하지 말고 세부 기준(Criterion)별 메트릭을 분리할 것. 특히 LLM-as-judge 도입 시 반드시 Human-labeled 데이터 기반의 Kappa 계수 등을 통해 판별 모델의 신뢰도를 정량적으로 검증하고 이를 모니터링 대시보드에 포함할 것.