LLM 모델이 아닌 AI Agent 전체의 신뢰도를 측정하는 Legit 벤치마크

Context

동일한 GPT-4o 기반 Agent라도 구현 방식에 따라 신뢰도 차이 발생. 기존 벤치마크는 Agent 전체가 아닌 기반 모델의 성능만 평가하는 구조적 한계 존재.

Technical Solution

• Agent 전체 시스템을 평가 대상으로 설정한 오픈소스 플랫폼 Legit 설계
• Research, Extract, Analyze, Code, Write, Operate 등 6개 카테고리의 36개 태스크셋 구성
• 로컬 환경에서 실행 가능한 결정론적 검증 기반의 Layer 1 스코어링 적용
• Claude, GPT-4o, Gemini 등 3종의 AI Judge가 중앙값 점수를 산출하는 Layer 2 교차 검증 체계
• Elo Rating 알고리즘을 적용한 Agent 티어제(Platinum/Gold/Silver/Bronze) 분류 방식
• pip install 및 단일 endpoint 설정으로 즉시 통합 가능한 CLI 기반 인터페이스

Key Takeaway

AI 서비스의 품질은 LLM 모델의 성능뿐 아니라 프롬프트 엔지니어링, 워크플로우 설계 등 Agent 전체 아키텍처의 조화에 의해 결정됨.