AI Eval 비용 폭증에 따른 Compute Bottleneck 발생과 최적화 전략

Context

LLM 평가 규모 확대로 인한 API 및 GPU 비용이 Pretraining 비용을 상회하는 수준으로 급증. 특히 Agent Evaluation의 경우 단순 모델 성능을 넘어 Scaffold 및 Token Budget에 따른 비용 변동성이 극심한 구조적 한계 노출.

Technical Solution

• Item Response Theory 기반의 Anchor Item 추출을 통한 MMLU 14,000개 문항의 100개 축소 설계
• Coarse-to-Fine 절차를 적용한 Flash-HELM 구조 도입으로 저비용 평가 후 상위 후보군만 고해상도 평가 수행
• Static Benchmark의 데이터 부분집합(Subset) 내 모델 차이 집중 현상을 이용한 Aggressive Subsampling 적용
• Model, Scaffold, Token-Budget의 곱으로 정의되는 비용 함수 분석을 통한 Scaffold 선택 최적화
• Inference-time Compute 확장 시 발생하는 평가 비용의 기하급수적 증가를 억제하는 효율적 벤치마킹 프레임워크 구축

Impact

• Static Benchmark에서 Compute 100배에서 200배 감소 시에도 모델 랭킹 순위 유지
• tinyBenchmarks 도입을 통한 MMLU 데이터셋 크기 98% 압축 및 에러율 2% 수준 유지
• HAL 벤치마크 기준 21,730회 Rollout 실행 시 약 $40,000의 비용 발생 확인
• Scaffold 선택에 따른 동일 작업 내 최대 33배의 비용 격차 식별

Key Takeaway

평가 데이터의 전체 집합이 아닌 모델 간 변별력이 집중된 핵심 지표(Anchor Points)를 식별하는 것이 Compute 효율성 확보의 핵심이며, Agentic Workflow에서는 모델 자체보다 이를 감싸는 Scaffold 설계가 비용의 1차 결정 요인으로 작용함.