코드 컨텍스트 도구별 비용·정확도 분석: 복잡한 작업 시 Graph 기반 접근으로 비용 6~24배 절감

Context

AI Coding Agent가 대규모 코드베이스(400k LOC)에서 필요한 컨텍스트를 탐색할 때 발생하는 Token 소모와 정확도 간의 Trade-off 분석 필요성 대두. 기존 Text-based 검색(grep) 방식은 단순 조회에는 효율적이나, 복잡한 의존성 분석 시 Token 비용 급증 및 낮은 정확도라는 한계 노출.

Technical Solution

• 단순 텍스트 검색(grep + read)과 구조적 분석(Graph, LSP)의 성능을 비교하기 위한 MCP(Model Context Protocol) 서버 기반 벤치마크 설계
• 분석 대상을 단순 정의 조회(Simple lookup)와 영향도 분석(Blast radius)으로 이원화하여 작업 복잡도에 따른 도구 효율성 검증
• 모델별(Haiku, Sonnet, Opus) 특성에 따른 최적 도구 조합을 찾기 위해 936회의 독립 실행(3 seeds × 3 models × 26 tasks) 수행
• 외부 변수 통제를 위해 Built-in Tool을 비활성화하고 오직 특정 MCP 서버만 사용하도록 하는 Clean Room 환경 구축
• 정량적 검증을 위해 정답 세트를 도구와 독립적인 Python AST 기반의 Oracle로 검증하여 데이터 신뢰성 확보