52K 샘플 검증 기반 QIMMA의 Quality-First Arabic LLM 평가 프레임워크
QIMMA LLM leaderboard theo nguyên tắc “validate trước, evaluate sau”
TII가 Falcon-Arabic의 한계점을 분석해 Mamba-Transformer 하이브리드 아키텍처로 재설계하여 컨텍스트 윈도우를 32K에서 256K 토큰으로 확대
Introducing Falcon-H1-Arabic: Pushing the Boundaries of Arabic Language AI with Hybrid Architecture
연구팀이 아랍어 STEM 및 코드 생성 평가를 위해 3개 데이터셋(Native STEM 865개, Synthetic STEM 1,744개, 코드 벤치마크)으로 구성된 3LM 벤치마크 도입
📚 3LM: A Benchmark for Arabic LLMs in STEM and Code
Inception이 AraGen 벤치마크를 279개에서 340개 QA 쌍으로 확장하고 Arabic IFEval 벤치마크를 신규 도입해 아랍어 LLM 평가 프레임워크 통합
Arabic Leaderboards: Introducing Arabic Instruction Following, Updating AraGen, and More
2A2I·TII·HuggingFace가 아랍어 LLM 평가 플랫폼을 중앙화하여 7개월 내 46,000명 방문·700개 모델 제출 달성
The Open Arabic LLM Leaderboard 2
Inception이 3C3H 평가 지표로 아랍어 LLM을 위한 AraGen 벤치마크와 동적 평가 시스템 도입
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
TII가 OpenArabic LLM Leaderboard를 구축해 아랍어 처리에 특화된 벤치마크 플랫폼으로 3억8천만 아랍어 사용자 대상 모델 평가 기반 조성
Introducing the Open Arabic LLM Leaderboard