정적 벤치마크 탈피를 통한 LLM 평가 신뢰성 확보 전략

Context

MMLU, GSM8K 등 공개 데이터셋의 학습 데이터 포함으로 인한 Contamination 발생 및 정적 평가의 유효성 상실. 단일 지표 기반의 Aggregate accuracy가 실제 사용자 트래픽의 Long tail 실패 사례를 은폐하는 구조적 한계 직면.

Technical Solution

• 정적 데이터셋의 Half-life 문제를 해결하기 위한 Templated grammar 기반의 Dynamic evaluation 도입
• 모델의 단순 암기를 방지하기 위한 Private eval set의 Synthetic distribution 변환 처리
• 단일 점수의 정보 손실을 방지하기 위해 Prompt difficulty, Length, Domain별 Stratified eval 체계 구축
• LLM-as-a-judge의 Bias 제거를 위해 3개 이상의 Model family 교차 검증 및 Position randomization 적용
• Qualitative drift 감지를 위한 주 단위 Rotation 기반의 User traffic 유도 Test set(500 prompts) 운영
• Programmatic check가 가능한 Templated regression suite(5000 prompts)를 통한 Catastrophic regression 방어

Impact

• LLM-as-a-judge 활용 시 발생하는 약 15%의 오판율 및 5-8 points의 Presentation order bias 식별

Key Takeaway

평가 지표는 단순한 수치가 아닌 특정 User behavior를 예측하는 수단이어야 하며, 평가 환경의 동적 업데이트와 계층적 분석이 필수적인 설계 원칙임.