Upstage가 한국 LLM 평가 생태계를 위해 Private Test Set 기반 Open Ko-LLM Leaderboard를 구축해 5개월 내 1,000개 이상 모델 등록 달성

Context

영어 기반 LLM 벤치마크가 주류인 상황에서 한국 언어의 특성을 반영한 평가 체계가 부재했다. 기존 오픈 소스 벤치마크는 테스트 셋 공개로 인한 데이터 오염(test set contamination) 문제를 야기했다.

Technical Solution

• 한국어 전용 벤치마크 5개 개발: Ko-ARC(과학 추론), Ko-HellaSwag(상황 이해), Ko-MMLU(다중 주제 언어 이해), Ko-Truthful QA(진실성), Ko-CommonGEN V2(한국 상식 생성)
• Private Test Set 도입: 공개 벤치마크와 달리 테스트 데이터 비공개로 운영해 모델 간 공정한 비교 보장
• 한국어 고유 특성 반영: 번역된 벤치마크 데이터셋을 한국 언어 문화에 맞게 재구성
• 오픈 플랫폼 제공: 연구자 및 기업이 한국 LLM을 등록하고 경쟁할 수 있는 리더보드 운영
• 다중 기관 협력 인프라: NIA, Upstage, KT, Korea University 파트너십으로 GPU 리소스 및 신뢰성 확보

Impact

리더보드 런칭 후 5개월 내 1,000개 이상 모델 등록(영어 버전 4,000개 대비 25% 수준), KT, Lotte Information & Communication, Yanolja, MegaStudy, Maum AI, 42Maru, ETRI, KAIST, Korea University 등 개인 연구자부터 기업·학술기관까지 다양한 참여 달성

Key Takeaway

Prvate Test Set 방식의 도입으로 벤치마크 신뢰성을 확보하면서도 한국어 고유 특성을 반영한 평가 기준을 설계하면, 특정 언어 LLM 생태계의 투명성과 공정성을 동시에 구축할 수 있다. 글로벌 협력 기관 참여는 평가 체계의 권위성과 실용성을 강화한다.