토큰 낭비 끝, AI 에이전트를 위한 코드 지도 Stacklit

Context

AI 에이전트가 코드베이스 파악을 위해 매 세션 수많은 파일을 반복 조회하는 구조. 컨텍스트 윈도우의 빠른 소모와 불필요한 토큰 비용 발생. 에이전트 간의 탐색 정보 공유 체계 부재로 인한 비효율성.

Technical Solution

• tree-sitter 기반의 Full AST 파싱을 통해 정규표현식의 한계를 극복한 정밀한 코드 분석 수행
• 모듈의 목적, 의존성, 내보내기 항목, Git 활동성을 포함한 stacklit.json 인덱스 파일 생성 및 Git 커밋 전략
• Mermaid 기반의 DEPENDENCIES.md와 4가지 뷰를 제공하는 인터랙티브 HTML 맵을 통한 시각적 구조화
• MCP(Model Context Protocol) 서버 구현으로 get_overview 등 7가지 도구를 통한 효율적인 컨텍스트 제공
• 11개 주요 언어의 imports, classes, interfaces 등 핵심 시그니처만 추출하는 고밀도 요약 방식

Impact

• 108,000라인 규모의 FastAPI 프로젝트 구조를 4,142 토큰으로 압축
• Express.js(21,346라인) 3,765토큰, Gin(23,829라인) 3,361토큰, Axum(43,997라인) 14,371토큰 수준의 인덱스 크기 달성
• 대부분의 리포지토리에서 100ms 미만의 실행 속도 기록

Key Takeaway

LLM의 컨텍스트 제한 문제를 해결하기 위해 원시 코드 전체가 아닌 고도로 추상화된 '코드 지도(Code Map)'를 제공하는 정적 분석 레이어의 필요성.