Atla가 LLM을 평가자로 사용하는 모델들을 벤치마크하는 Judge Arena 플랫폼을 출시해 18개 최신 LLM의 평가 능력을 크라우드소싱 투표로 비교
Judge Arena: Benchmarking LLMs as Evaluators
TII가 OpenArabic LLM Leaderboard를 구축해 아랍어 처리에 특화된 벤치마크 플랫폼으로 3억8천만 아랍어 사용자 대상 모델 평가 기반 조성
Introducing the Open Arabic LLM Leaderboard
Patronus 팀이 Hugging Face와 협력해 실제 엔터프라이즈 사용 사례 평가를 위한 6개 태스크(금융, 법률, 창의 글쓰기, 고객 지원, 독성, 기업 PII)를 포함한 Enterprise Scenarios Leaderboard 구축
Introducing the Enterprise Scenarios Leaderboard: a Leaderboard for Real World Use Cases
Vectara가 Hugging Face 리더보드 템플릿을 기반으로 HHEM 리더보드를 구축해 LLM 환각 평가 모델을 동적으로 업데이트할 수 있는 시스템 구현
A guide to setting up your own Hugging Face leaderboard: an end-to-end example with Vectara's hallucination leaderboard