NeurIPS 2025가 E2LM 경진대회를 통해 200B 토큰 초기 학습 단계에서 LLM의 추론 및 과학 지식을 평가할 수 있는 벤치마크 개발

Context

기존 평가 벤치마크는 LLM의 초기 학습 단계(약 200B 토큰)에서 의미 있는 신호를 제공하지 못하고 있다. 연구자들이 모델 아키텍처, 데이터 혼합, 하이퍼파라미터를 평가할 때 학습 손실 곡선과 평가 점수만으로는 결론을 도출하기 어렵다.

Technical Solution

• 신호 품질 점수(Score SQ), 순위 일관성 점수(Score RC), 과학 지식 준수 점수(Score CS) 3가지 평가 지표 설계
• 가중치 조합 공식 적용: Score = 0.5 × Score SQ + 0.1 × Score RC + 0.4 × Score CS
• 0.5B, 1B, 3B 규모의 소형 언어 모델 체크포인트(0~200B 토큰) 공개하여 참가자가 신호 품질 점수를 로컬에서 계산 가능하도록 구성
• 정보 유출 감지 및 확립된 과학 지식 영역 정렬 검증 절차 2단계 적용
• lm-evaluation-harness 라이브러리 기반 솔루션 제출 및 HuggingFace Space를 통한 자동 채점 시스템 운영

Impact

체크포인트 규모별로 0.5B 모델의 경우 최대 200B 토큰까지 학습 진행 상황을 추적 가능하다.

Key Takeaway

조기 학습 단계의 LLM 평가에서는 모든 지표를 동일하게 취급하기보다 신호 품질(0.5 가중치)과 과학 지식 준수(0.4 가중치)에 집중하는 차등 평가 전략이 더 유의미한 통찰을 제공한다.