피드로 돌아가기
Dev.toAI/ML
원문 읽기
Import Graph와 AST 기반 분석을 통한 LLM Token 사용량 97% 절감
I built a tool that cuts Claude/ChatGPT token usage by 97% — here's how it works
AI 요약
Context
방대한 Repository 전체를 LLM 컨텍스트에 입력함에 따른 Token Limit 도달 및 비용 증가 문제 발생. 불필요한 파일 포함으로 인한 모델의 Attention 분산과 응답 정확도 저하라는 구조적 한계 존재.
Technical Solution
- AST Symbol Extraction을 통한 함수 및 클래스 단위의 정밀한 코드 의미 분석
- Import Graph Centrality 알고리즘을 적용하여 의존성 중심의 핵심 파일 우선순위 선정
- Git Churn Scoring 기반의 최근 변경 이력 반영으로 현재 작업 맥락의 최신성 확보
- Keyword Matching과 상기 지표들의 가중치 합산을 통한 파일별 Relevance Ranking 수행
- 정해진 Token Budget 내에서 최적의 파일을 Greedily 선택하는 Context Packing 전략 채택
- MCP Server 인터페이스 구현을 통한 LLM의 직접적인 Tool Call 기반 컨텍스트 제어
실천 포인트
1. LLM 프롬프트 구성 시 AST 기반의 심볼 추출로 관련 코드 범위 최적화 검토
2. 의존성 그래프 분석을 통해 영향도가 높은 핵심 모듈 우선 배치 전략 적용
3. Git Commit 로그를 활용한 최신 수정 파일 가중치 부여 로직 도입