Power Analysis 도입을 통한 LLM Eval set 크기 최적화 및 5% Regression 탐지력 확보

Power analysis for LLM evals: how big does your eval set need to be to catch a 5% regression?

Maya Andersson2026년 6월 15일2분intermediate

AI 요약

Context

기존 Eval set을 임의의 데이터 규모로 구성하여 Sampling Noise로 인한 Regression 미탐지 발생. 50개 규모의 데이터셋으로는 15% 이상의 급격한 성능 저하만 감지 가능한 낮은 Detection Floor가 한계점으로 작용.

NormalIndPower 기반의 Two-proportion calculation을 적용하여 탐지하고자 하는 최소 Regression 폭에 따른 표본 크기 산출
Pass/Fail 기반의 Pass rate 변화량(p1 to p2)과 Statistical Power(80%), Alpha(0.05) 값을 변수로 설정한 수리적 모델 구축
희귀하지만 중요한 데이터 슬라이스가 누락되지 않도록 Stratified Sampling 기법 적용
결과값에 Uncertainty 범위를 함께 표기하여 미세한 변동으로 인한 불필요한 조사 리소스 낭비 방지
비용 효율성을 위해 무조건적인 확장 대신 서비스 영향도를 기준으로 한 최소 탐지 가능 하한선 설정

실천 포인트

1. 현재 Eval set 규모로 탐지 가능한 최소 변동 폭(Detection Floor)을 계산했는가

2. Pass/Fail 지표의 경우 statsmodels 등의 라이브러리로 Power Analysis를 수행했는가

3. 중요 엣지 케이스가 포함되도록 Stratified Sampling을 적용했는가

4. 평가 결과의 신뢰 구간(Uncertainty)을 함께 리포팅하고 있는가

태그