Inception이 3C3H 평가 지표로 아랍어 LLM을 위한 AraGen 벤치마크와 동적 평가 시스템 도입

Context

기존 LLM 평가 방법론은 두 가지 극단에 치우쳐 있었다. 자동 벤치마크(Open LLM Leaderboard)는 팩트성 검증에만 집중하고 사용성 평가가 미흡하며, 선호도 기반 벤치마크(Chatbot Arena)는 스타일 정렬을 과도하게 중시하면서 사실성을 훼손할 수 있다. 특히 아랍어와 같은 저자원 언어의 LLM 평가 방법이 거의 없는 상황이었다.

Technical Solution

• 3C3H 평가 지표 도입: Correctness(정확성), Completeness(완전성), Conciseness(간결성), Helpfulness(유용성), Honesty(정직성), Harmlessness(무해성) 6개 차원을 LLM-as-a-Judge 방식으로 평가
• 팩트성과 사용성 병합: 모델 응답의 핵심 지식 정확도(팩트성)와 인간 선호도 정렬(사용성)을 균형잡게 평가하는 통합 프레임워크 구성
• 동적 평가 전략 구현: 3개월 단위 블라인드 테스트 사이클로 평가 데이터셋과 평가 코드를 비공개로 유지 후 사이클 종료 시 공개 및 신규 벤치마크 도입
• Claude-3.5-sonnet 기반 판정자 선정: GPT-4o-mini는 높은 점수 변동성으로 재현성 목표와 충돌하고, Jury 시스템은 확장성 문제 및 점수 부풀림으로 제외한 후 일관성과 공정성 균형을 맞추는 선택지로 결정
• 다중 시나리오 평가 데이터셋 구성: 아랍어 LLM 평가를 위해 단일 턴과 다중 턴 대화, 복수 도메인과 태스크를 포함하는 벤치마크 구축

Key Takeaway

LLM 평가 시스템을 설계할 때는 팩트성과 사용성 두 축을 명확히 분리하고, 데이터 오염 방지와 재현성 보장을 위해 동적 평가 사이클을 도입하며, 판정자 선택 단계에서 일관성 지표(Cohen Kappa)를 기준으로 신중하게 검증해야 한다. 저자원 언어 대상 벤치마킹 시 이 구조는 다른 언어로도 확장 가능한 언어-범용 프레임워크가 될 수 있다.