피드로 돌아가기
Cut Your Claude Token Consumption By 70x
Dev.toDev.to
AI/ML

AST 기반 Knowledge Graph 구축을 통한 LLM Token 소비량 70배 절감

Cut Your Claude Token Consumption By 70x

Lorenzo Zarantonello2026년 6월 3일2intermediate

Context

AI Agent가 코드베이스 전체를 매번 재읽기 함에 따라 발생하는 과도한 Token 소비와 비용 증가 문제. Context Window 제한으로 인한 정보 손실 및 불필요한 중복 데이터 전송이라는 아키텍처적 한계 존재.

Technical Solution

  • tree-sitter 기반 AST parser를 활용한 31개 언어의 코드 구조 정밀 분석
  • 파일 단위 읽기 방식에서 관계 중심의 Knowledge Graph 탐색 구조로 전환
  • 코드 간 의존성 및 연결성을 매핑하여 AI Agent가 필요한 노드만 쿼리하는 최적화 경로 설계
  • EXTRACTED, INFERRED, AMBIGUOUS로 구분된 Confidence Tag 도입을 통한 데이터 신뢰도 검증
  • 프로젝트 내 최상위 연결 지점인 God Nodes 식별을 통한 핵심 아키텍처 지점 우선 파악
  • graph.json 형태의 쿼리 가능 데이터셋 제공으로 다양한 AI 플랫폼과의 인터페이스 호환성 확보

1. AST Parser를 활용한 코드 의존성 그래프 구축 검토

2. LLM 입력 데이터의 신뢰도 수준(Confidence Level) 정의 및 태깅 적용

3. God Nodes 분석을 통한 레거시 코드베이스의 핵심 모듈 식별 및 최적화

원문 읽기