TS Compiler Graph 도입으로 LLM 토큰 소모량 10배 절감

Context

코딩 에이전트가 코드 구조 파악을 위해 반복적으로 수행하는 grep-find-Read 루프로 인한 과도한 토큰 소모와 지연 시간 발생. 기존 MCP 기반 도구들이 소스 본문을 직접 전달하여 리포지토리 규모에 따라 토큰 사용량이 급증하는 확장성 한계 노출.

Technical Solution

• TypeScript Compiler가 이미 분석한 Symbol Graph를 활용하여 소스 본문 제외 index 정보만 추출하는 구조 설계
• Nodes(함수, 클래스, 파일)와 Edges(호출, 임포트, 상속) 중심의 추상화된 Graph 데이터셋 제공
• 응답 값에 소스 코드를 포함하지 않고 정확한 file:line 좌표(Span)만 전달하여 검증 가능성 확보
• Forced Chain-of-Thought(CoT)를 툴 인터페이스에 결합하여 에이전트의 임의적인 grep 회귀 방지
• Union Types 기반의 엄격한 타입 계약을 통해 에이전트가 최적의 시점에 툴을 호출하도록 유도

Impact

• 구조적 질문에 대한 토큰 소모량 중앙값 기준 기존 대비 약 10배 감소
• 리포지토리 크기와 무관하게 일정한 수준의 응답 토큰 크기를 유지하는 Flat 확장성 달성

Key Takeaway

LLM에게 전체 컨텍스트를 제공하는 대신 컴파일러 수준에서 정제된 인덱스를 제공함으로써 추론 효율 극대화. 프롬프트 강화보다 엄격한 인터페이스 설계와 CoT 강제가 도구 채택률 향상에 더 효과적임.