Hugging Face의 Transformers Agents가 Code Agent 방식 도입으로 GAIA 벤치마크에서 검증셋 44.2% 달성해 기존 최고 성능(40%)을 초과

Context

LLM 기반 에이전트 시스템은 복잡한 멀티스텝 추론과 도구 선택이 필요한 문제 해결에 어려움을 겪고 있다. GAIA 벤치마크는 정보 수집의 순차적 의존성, 이미지 분석, 형식 제약 등 여러 난제를 포함해 에이전트 성능 평가의 표준이 되고 있다(GPT-4-Turbo 7% 미만, 기존 최고 Autogen 기반 솔루션 40%).

Technical Solution

• Code Agent 도입: JSON/OAI 형식 대신 Python 코드로 에이전트 액션을 표현해 복잡한 다중 단계 작업을 1단계로 처리 가능하도록 변경
• Web browser 도구 구성: Autogen의 Markdown 기반 웹브라우저(Browser 클래스 + visit_page, page_down, find_in_page 메서드) 재사용으로 웹페이지를 마크다운으로 압축 표현
• File inspector 통합: .xls, .mp3, .pdf 등 다양한 파일 형식 파싱을 Autogen의 오픈소스 도구로 지원
• LLM 기반 자동 코드 생성·실행: 에이전트가 Python 코드를 자동으로 생성하고 실행하는 방식으로 명시적 Code Interpreter 도구 불필요

Impact

• 검증셋 성능: 44.2% 달성 (기존 최고 40%에서 4.2포인트 상승)
• 테스트셋 성능: 33.3% 달성 (Microsoft Autogen 제출 대비 상위 순위, Level 3 난제에서 최고 평균 점수)

Key Takeaway

Code 기반 액션 표현은 JSON 포맷 대비 간결성과 병렬·반복 로직 표현 효율이 우수하며, 이를 에이전트 설계의 중심에 두면 복잡한 멀티스텝 추론 성능을 향상시킬 수 있다. LangChain, LlamaIndex는 미지원하고 Autogen은 보조 기능 수준이므로 Transformers Agents가 현재 이 패러다임을 가장 철저히 구현한 라이브러리다.