2A2I·TII·HuggingFace가 아랍어 LLM 평가 플랫폼을 중앙화하여 7개월 내 46,000명 방문·700개 모델 제출 달성

Context

기존 아랍어 LLM 평가 플랫폼들은 개별 벤치마크로 분산되어 있었고, 사용자가 자신의 컴퓨팅 리소스로 평가 후 JSON 파일을 제출하는 방식이었다. 이로 인해 계산 비용 부담이 커 참여 진입장벽이 높았고, 제출된 결과의 신뢰성을 검증할 중앙화된 메커니즘이 부재했다.

Technical Solution

• 중앙화된 평가 인프라 구축: 2024년 5월 Open Arabic LLM Leaderboard(OALL) v1 출범으로 14개 벤치마크(읽기 이해, 감정 분석, 질의응답 등)를 단일 플랫폼에서 실행
• TII 제공 추론 하드웨어 활용: 커뮤니티 참여자가 자체 계산 리소스 없이 모델 평가 가능하도록 인프라 중앙화
• HuggingFace Space 활용: 웹 기반 인터페이스로 결과 제출 및 비교 기능 제공, 46,000명 이상의 방문자 유입
• 다층 벤치마크 확충: 2024년 9월 Balsam Index(1,400개 데이터셋·50,000개 질문·67개 태스크) 추가, 12월 AraGen Leaderboard(4개 생성형 태스크)와 Scale SEAL(1,000개 아랍어 프롬프트 기반 사람선호도 평가) 도입
• 모델 규모 다양화 지원: 1B부터 70B 파라미터 모델까지 평가, 180개 이상 조직에서 700개 모델 제출 수용

Impact

• 누적 방문자: 46,000명, 최근 월간 방문 2,000회 이상(2025년 1월 기준)
• 제출 모델: 700개(70% 이상이 채팅·파인튜닝 모델, 50% 이상이 7B 미만)
• 학술 인용: Google Scholar 8회 인용, HuggingFace Space 100회 이상 좋아요
• 타 언어 대비 활성도: 한국어·폴란드어·포르투갈어 레더보드에 이어 활동 중인 MCQ 레더보드 중 상위권(출시 이후 7개월)

Key Takeaway

커뮤니티 평가 플랫폼을 중앙화하고 검증 불가능한 자율 제출 방식을 제거하면, 높은 진입장벽을 낮춰 활발한 오픈소스 모델 생태계를 구축할 수 있다. 동시에 다중 벤치마크 조합으로 평가 커버리지를 확대하면 특정 태스크 편향을 완화할 수 있다.