피드로 돌아가기
Dev.toAI/ML
원문 읽기
Prompt 유출 없는 Local CLI 기반 AI Token 사용량 추적 시스템 설계
I built TokenBoard to track AI coding token usage without uploading prompts or code
AI 요약
Context
기존 Billing 페이지의 추상적인 지표만으로는 실제 업무 기반의 상세한 AI 사용량 파악에 한계 존재. 프롬프트와 코드 유출 위험을 제거하면서도 실시간으로 Token 사용량을 집계할 수 있는 독립적인 분석 체계 필요.
Technical Solution
- 프라이버시 보호를 위해 Prompt 및 Code를 제외한 Metadata만 서버로 전송하는 Filtering 로직 구현
- Codex API와 연동하여 Tokens, Sessions, Messages, Models, Estimated Cost 등 핵심 Metric을 추출하는 Local CLI Collector 설계
- 클라이언트 측에서 집계(Aggregate)를 수행하여 서버 부하를 줄이고 데이터 전송량을 최소화하는 구조 채택
- 향후 Claude Code 등 다양한 AI Coding Agent 확장을 고려한 추상화된 데이터 수집 인터페이스 설계
- 사용자 간 사용량 비교 및 개인 통계 확인을 위한 Leaderboard 기반의 데이터 시각화 레이어 구축
실천 포인트
1. 민감 데이터 전송 방지를 위해 서버 전송 전 단계에서 Local Filtering 파이프라인을 구축했는가
2. 단순 합계가 아닌 Session 및 Model별 세분화된 Metric을 정의하여 분석 가능하게 설계했는가
3. 다양한 외부 API 연동을 위해 Collector 계층을 추상화하여 확장성을 확보했는가