TII가 OpenArabic LLM Leaderboard를 구축해 아랍어 처리에 특화된 벤치마크 플랫폼으로 3억8천만 아랍어 사용자 대상 모델 평가 기반 조성

Context

NLP 분야의 벤치마크와 평가 자원이 영어에 집중되어 있어 아랍어 LLM의 성능 평가 및 개선을 위한 전문화된 플랫폼이 부재했다. 아랍어라는 언어적 특수성(문법적 복잡성, 문화적 뉘앙스)을 반영한 평가 메커니즘이 없어 아랍어 모델 개발이 정체되어 있었다.

Technical Solution

• AlGhafa, ACVA, AceGPT 벤치마크 활용: 총 3개 벤치마크 세트로 읽기 이해, 감정 분석, 질의응답, 다중선택 문제 등을 포함한 다양한 평가 항목 구성
• 아랍어 번역 데이터셋 추가: MMLU, EXAMS 벤치마크를 아랍어로 번역해 총 58개 데이터셋으로 평가 범위 확대
• 정규화된 로그 우도(normalized log likelihood) 메트릭 채택: 다중선택 및 예/아니오 질문 유형 모두에 일관된 공정한 평가 기준 적용
• lighteval 라이브러리 통합: GitHub PR #44, PR #95를 통해 아랍어 벤치마크를 lighteval에 통합해 커뮤니티의 즉시 평가 가능 환경 구현
• 데모 리더보드 기반 아키텍처: front-end/back-end를 데모 리더보드에서 영감을 얻아 구축하고 TII 클러스터에서 로컬 실행

Impact

아티클에 정량적 성능 수치(성능 향상도, 레이턴시 감소 등)가 명시되지 않음.

Key Takeaway

저자원 언어의 NLP 발전을 위해서는 영어 벤치마크의 단순 번역을 넘어 언어별 언어적·문화적 특수성을 반영한 데이터셋 구성과 기존 오픈소스 평가 도구(lighteval)의 확장을 통해 커뮤니티 접근성을 확보하는 것이 핵심이다. 이러한 접근 방식은 다른 저개발 언어에도 동일하게 적용 가능한 모델을 제시한다.