피드로 돌아가기
Dev.toAI/ML
원문 읽기
Wilson CI와 TrueSkill Sigma 제어로 AI Agent 평가 신뢰도 확보
Your AI Agent Evaluation Is Lying to You: Why 10 Test Runs Prove Nothing
AI 요약
Context
소수 샘플 기반의 Win Rate 측정으로 인한 통계적 유의성 결여 및 잘못된 모델 병합 결정 발생. TrueSkill 기반의 Mu Rating만으로 성능을 판단하여 발생하는 높은 불확실성(Uncertainty) 무시 문제 직면.
Technical Solution
- Wilson Score Interval 도입을 통한 binary outcome의 95% 신뢰 구간 산출 및 표본 크기 정밀 계산
- TrueSkill의 Sigma(불확실성) 값을 평가 게이트(Gate)로 설정하여 Sigma < 15 도달 전까지 결정 유보
- Ratings Persistence 구조 설계를 통한 세션 간 데이터 누적으로 Sigma 수렴 속도 최적화
- Point Estimate 대신 Confidence Interval(mu +/- 2*sigma) 중심의 리포팅 체계 전환
- Z-score 기반의 ratings_are_distinguishable 로직 구현을 통한 에이전트 간 통계적 구별 가능성 검증
Impact
- 60% 승률 차이 식별을 위해 필요한 최소 게임 수를 10회에서 약 93회로 정밀화
- 55% 승률 차이 식별을 위해 381회 이상의 샘플 확보 필요성 정량적 입증
- Sigma 기반의 Convergence 상태 관리를 통해 Regression 모델의 병합 원천 차단
실천 포인트
1. AI 모델 평가 시 단순 승률이 아닌 Wilson CI 또는 TrueSkill Sigma를 통한 신뢰 구간 확인
2. 평가 지표의 변동성(Sigma)이 임계치 이하로 수렴했는지 확인하는 Convergence Gate 구축
3. 평가 데이터를 휘발시키지 않고 지속적으로 누적하는 Persistence 레이어 설계
4. 단일 수치(Point Estimate)가 아닌 구간(Interval) 형태로 결과 보고서 작성