피드로 돌아가기
Dev.toAI/ML
원문 읽기
Claude Code의 토큰 낭비 추적을 위한 100% Local 기반 분석 도구 Tokenwise 구축
How I built a free tool that shows where Claude Code burns tokens
AI 요약
Context
AI 코딩 에이전트 사용 시 단순 인사만으로 약 31,000 tokens가 소모되는 비효율적 비용 구조 발생. API 비용이 월 $500 이상 발생함에도 토큰 소모 지점을 파악할 수 없는 가시성 부족 문제 직면.
Technical Solution
- js-tiktoken 라이브러리를 통한 로컬 토큰 카운팅으로 Zero API Call 및 Zero Inference 아키텍처 구현
- CLAUDE.md 및 AGENTS.md 등 설정 파일 스캔을 통한 Boilerplate와 중복 섹션의 토큰 점유율 정량 분석
- sql.js를 활용한 세션 로그 분석으로 System Prompt, History, Tool Output별 토큰 분배 구조 가시화
- Cache Hit Rate 측정 및 Top 3 Token Hogs 식별을 통한 데이터 기반의 Context 최적화 전략 수립
- TypeScript 및 Node.js 기반의 CLI 도구 설계를 통한 11종 이상의 AI 에이전트 범용 호환성 확보
실천 포인트
- AI 에이전트 설정 파일 내 불필요한 ALL-CAPS 강조문 및 중복 가이드라인 제거 - 세션 로그 분석을 통한 Tool Output의 토큰 점유율 확인 및 출력 형식 최적화 - Context Window 효율화를 위한 Unscoped Rules의 범위 제한 및 모듈화 적용