연구팀이 25개의 Infocom 텍스트 기반 게임으로 구성된 TextQuests 벤치마크를 도입해 LLM의 장문맥 추론과 탐색적 학습 능력을 평가

Context

기존 LLM 평가 벤치마크(MMLU, GPQA)는 정적인 지식 기반 작업에 포화되어 있으며, 동적이고 상호작용적인 환경에서 자율 에이전트의 능력을 측정하기 위한 견고한 방법론이 부족했다. 현존하는 평가 방식은 실제 환경의 제한된 기술 셋 또는 시뮬레이션 환경에 의존하고 있어, 장시간의 지속적인 자기 주도적 추론 능력을 종합적으로 평가하기 어려웠다.

Technical Solution

• TextQuests 벤치마크 구축: 25개의 Infocom 클래식 대화형 픽션 게임을 평가 데이터셋으로 선정하여, 30시간 이상의 플레이 시간과 수백 개의 정확한 액션이 필요한 환경 제공
• 장문맥 평가 방식 설계: 최대 500 스텝 실행 환경에서 게임 전체 히스토리를 없이 유지하며, 100K 토큰을 초과하는 문맥 윈도우에서 모델 성능 측정
• 이중 평가 구조 도입: 공식 힌트 포함 여부(With Clues/No Clues)의 두 가지 평가 실행 경로를 구분하여 모델의 기본 능력 vs 지원 조건별 성능 비교
• 메트릭 정의: 게임 진행도(Game Progress)를 필수 목표 체크포인트 기반으로 측정하고, 해로운 행동(Harm)을 추적하여 윤리적 행동 평가 포함
• 추론 토큰 효율성 분석: 출력 토큰과 추론 토큰 생성량을 측정하여 테스트 타임 컴퓨트 예산과 성능의 관계 분석

Impact

Zork I의 미로 네비게이션과 Wishbringer의 절벽 내려오기에서 모든 최첨단 LLM이 실패했으며, 장문맥 상황에서 LLM들이 이전 상호작용에 대한 환각(matchbook을 Studio 대신 Atlantis Room에 놨다고 착각)을 일으킴. 문맥 길이가 증가함에 따라 LLM 에이전트들이 새로운 계획을 합성하기 보다는 히스토리의 행동을 반복하는 경향이 증가했으며, 공간 추론이 필요한 작업에서 특히 심각한 장문맥 실패 관찰됨.

Key Takeaway

텍스트 기반 게임 환경은 LLM 에이전트의 장문맥 추론 능력의 근본적인 한계를 드러내는 효과적인 평가 수단이다. 특히 공간 관계 이해와 히스토리 정보 활용 능력의 부족이 자율 에이전트 시스템에서 신뢰성을 해치는 핵심 요소임을 시사한다.