피드로 돌아가기
Dev.toAI/ML
원문 읽기
Local Log 기반 Prompt Cache Hit Rate 최적화를 통한 비용 효율 극대화
Claude Code and Codex are logging your token usage locally. Here is how to read it.
AI 요약
Context
AI 코딩 에이전트 사용 시 발생하는 토큰 소모량과 비용 발생 구조에 대한 가시성 부족 문제. Provider 대시보드나 API 호출 없이도 로컬에 저장되는 세션 로그를 통해 실제 토큰 사용 패턴을 분석할 필요성 대두.
Technical Solution
- ~/.claude/projects/ 및 ~/.codex/sessions/ 경로의 JSONL 로그 파일을 활용한 로컬 데이터 추출 구조 설계
- Claude의 개별 메시지 기반 usage 블록과 Codex의 누적 합산(Cumulative) 방식 차이를 반영한 Delta 계산 로직 적용
- 중복 집계 방지를 위해 Claude는 message uuid를, Codex는 세션 간 차분값을 사용하는 Deduplication 전략 채택
- 프롬프트 텍스트나 API Key 없이 모델명과 토큰 수치만 처리하는 Privacy-preserving 데이터 수집 아키텍처 구현
- cache_read / (cache_read + cache_creation + uncached_input) 공식을 통한 Prompt Cache Hit Rate 지표 산출
- 정기적인 Cron Job 또는 Stop hook을 통한 로컬 로그의 실시간 대시보드 동기화 파이프라인 구축
실천 포인트
- 프롬프트 앞부분을 고정하여 Cache Prefix 유지 및 Hit Rate 향상 도모 - Tool definition의 크기를 최소화하여 불필요한 토큰 낭비 방지 - 세션 간 시스템 컨텍스트의 잦은 재배치를 지양하여 캐시 효율성 최적화 - 로컬 JSONL 로그를 통한 모델별/일별 토큰 사용량 정밀 모니터링 수행