MCP 서버 기반 CivBench 구축을 통한 LLM 전략적 추론 능력 검증

Context

기존 GovBench와 같은 다지선다형 평가 방식은 단순 지식 회상(Recall) 측정에 그쳐 복잡한 변수 기반의 의사결정 능력을 평가하기에 부적합함. 특히 정부 운영과 같은 장기적 목표 유지 및 환경 변화에 따른 유연한 계획 수정 능력을 측정할 수 있는 고차원 벤치마크의 부재가 한계로 작용함.

Technical Solution

• Civilization VI 게임 엔진의 디버그 포트를 활용한 데이터 추출 파이프라인 설계
• MCP(Model Context Protocol) 표준을 적용하여 LLM이 직접 제어 가능한 76개의 전용 Toolset 구축
• 시각적 정보 없이 텍스트 기반의 Game State(Turn, Score, Resource 등)만 제공하여 모델의 순수 추론 능력에 집중한 환경 구성
• 8가지 다차원 지표(경제, 군사, 과학, 외교, 공간 등)를 통한 전략적 프로필 분석 체계 도입
• Claude Code를 개발 및 테스트 루프로 활용하여 API 발견과 도구 최적화를 반복하는 Iterative Development 프로세스 적용