LLM의 수학적 추론 능력 검증을 위한 100개 고난도 벤치마크 데이터셋 구축

Context

기존 LLM의 수학적 추론 능력을 정밀하게 측정할 수 있는 연구 수준의 고난도 데이터셋 부족 문제 발생. 정답이 확인된 전문 수학 문제 기반의 신뢰성 높은 평가 지표 확보 필요.

Technical Solution

• 수학자 49인의 협업을 통한 연구 수준의 수학 문제 및 정답 데이터셋 100건 구축
• 단일 시도 기반의 SOTA LLM 5종 평가를 통한 1차 Baseline 측정
• 모델별 20회 반복 실행 기반의 확률적 성능 분석을 통한 2차 검증
• Heavy-thinking 모델 2종을 활용한 심층 추론 단계의 3차 평가 수행
• 단계적 평가 체계 설계를 통한 문제별 난이도 및 모델별 해결 능력 정밀 분석

Impact

• Stage 1에서 미해결 상태였던 41개 문제의 수를 Stage 2에서 16개로 감소
• 최종 Stage 3 완료 시점에 미해결 문제 수를 2개까지 축소하여 LLM의 수학적 추론 가능성 입증

Key Takeaway

단일 실행 결과보다 반복 실행 및 Heavy-thinking 모델의 단계적 접근을 통해 LLM의 잠재적 추론 성능을 더 정확하게 측정 가능함.