저비용 모델 성능 검증을 위한 LLM-as-a-Judge 파이프라인 구축
I needed to know if the cheaper model was good enough. So I built an LLM-as-a-Judge pipeline
Inception이 3C3H 평가 지표로 아랍어 LLM을 위한 AraGen 벤치마크와 동적 평가 시스템 도입
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
Atla가 LLM을 평가자로 사용하는 모델들을 벤치마크하는 Judge Arena 플랫폼을 출시해 18개 최신 LLM의 평가 능력을 크라우드소싱 투표로 비교
Judge Arena: Benchmarking LLMs as Evaluators
Digital Green과 Hugging Face가 LLM-as-a-Judge 평가 시스템을 도입해 농업 챗봇의 신뢰성을 정량화하고 20,000명 이상의 농민으로부터 340,000개 이상의 쿼리 처리
Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge