구조적 낭비 제거를 통한 LLM Token 비용 40-80% 절감

Context

AI Coding Agent 세션 내에서 고해상도 이미지 전송, 파일 중복 읽기, 컨텍스트 압축 시 정보 손실, Bash 출력 과다 발생으로 인한 Token 낭비 발생. 단순 Prompt 최적화만으로는 해결 불가능한 아키텍처적 구조 문제로 인해 API 비용이 불필요하게 증가하는 한계 존재.

Technical Solution

• Hook Daemon 기반의 Interception 계층을 도입하여 모델 전송 전 데이터 최적화 수행
• Image Shrinking 로직을 통한 고해상도 스크린샷의 자동 압축 및 전송 데이터량 최소화
• Session-aware Read Hints를 통한 파일 읽기 이력 추적으로 중복 Read 요청 원천 차단
• Structured Manifest 주입 방식을 통한 Compaction 과정에서의 핵심 심볼 및 편집 이력 보존
• Bash Output Filtering을 통해 성공 로그 및 경고문을 제거하고 에러 중심의 핵심 정보만 추출
• Whole File Read 대신 특정 함수 단위 추출 기능을 제공하여 입력 Token 량 제어

Impact

• 이미지 크기 3.3MB에서 84KB로 감소하며 약 97.4%의 데이터 절감 달성
• Bash 출력량 80-97% 감소 및 2,000라인 모듈 기준 함수 단위 읽기로 Token 85% 절감
• 4시간 사용 기준 59.7MB 데이터 전송 방지 및 11.5 Million Tokens 절약 확인

Key Takeaway

LLM 비용 최적화는 프롬프트 엔지니어링보다 데이터 파이프라인 상의 구조적 낭비를 제거하는 Interceptor 설계가 더 효과적임.