AI 코딩 에이전트의 토큰 낭비 문제를 Trigram 인덱싱과 Tree-sitter 구조 분석으로 87% 감소

Context

AI 코딩 에이전트(Claude Code, Cursor, Copilot 등)는 grep으로 코드를 검색할 때 376개의 매칭 라인을 받아도 의미를 파악할 수 없어 5개 파일을 추가로 읽어야 한다. 실제 필요한 토큰은 800개인데 12,000개를 소비하는 식으로 93% 수준의 토큰이 코드 탐색 단계에서 낭비된다. 기존 grep 도구는 인간을 위해 매칭 라인을 반환하도록 설계되어 AI 에이전트의 이해를 돕는 데 부적합하다.

Technical Solution

• Trigram 인덱싱으로 검색 범위 축소: 모든 파일을 스캔하지 않고 "authenticate" 검색 시 "aut", "uth", "the" 등 3글자 시퀀스를 포함한 파일 12개만 후보로 필터링해 ripgrep 대비 7배 빠른 4.4ms 응답
• Tree-sitter 파서로 구조 정보 포함: 단순 라인 번호 대신 함수 전체 본문, 인자 타입, 반환값을 함께 반환해 파일 읽기 없이 즉시 이해 가능하게 변경
• 3단계 쿼리 구조로 콘텍스트 축소: codebase 모델링(1,413토큰) → 계층별 관련 함수 검색(1,400토큰) → 영향도 분석(1토큰)으로 순차 진행
• 디스크 캐싱으로 초기 인덱싱 이후 성능 안정화: 200개 파일 기준 초기 40ms 후 모든 검색 4.4ms 유지
• MCP 서버 인터페이스로 에이전트 네이티브 통합: Bash 명령어 대신 에이전트가 직접 호출 가능한 도구로 제공 예정

Impact

• ripgrep을 사용한 기존 방식: 20,580토큰 소비, 5회 도구 호출, 파일 읽기 45% 점유
• Hypergrep 도입 후: 2,814토큰 소비, 3회 도구 호출, 파일 읽기 0회
• 토큰 사용량 87% 감소(동일 이해도 달성)
• 검색 속도 ripgrep 대비 7배 개선(31ms → 4.4ms)

Key Takeaway

AI 에이전트를 위한 도구 설계는 인간 사용자 기준의 성능 최적화(속도)보다 에이전트가 즉시 의미를 파악할 수 있는 결과 형식(구조 정보, 콜 그래프, 영향도)을 우선해야 한다. 같은 기능을 제공할 때 신경망 기반 검색보다 정확한 구조 분석으로 토큰 효율을 극대화할 수 있다.