API Proxy 기반 토큰 가시성 확보 및 MCP 최적화로 Context 비용 절감

Improving token efficiency in GitHub Agentic Workflows

Landon Cox2026년 5월 7일13분intermediate

AI 요약

Context

자동 실행되는 Agentic Workflows의 특성상 누적되는 LLM 토큰 비용 관리가 필수적인 상황. 프레임워크별로 상이한 로그 형식과 불투명한 토큰 소비 구조로 인해 정밀한 비용 최적화에 한계가 존재함.

API Proxy 계층 도입을 통한 서로 다른 Agent Framework 로그의 단일 정규화 포맷(jsonl) 통합 수집
Daily Token Usage Auditor와 Optimizer를 구축하여 이상 소비 워크플로우 식별 및 최적화 제안 자동화
사용하지 않는 MCP Tool Registration을 식별하고 Pruning 하여 매 요청마다 반복되는 Schema Overhead 제거
LLM의 Reasoning 단계가 필요한 MCP Call을 결정론적인 GitHub CLI(HTTP Request)로 대체하여 Round-trip 비용 제거
Pre-agentic Data Download 전략을 통해 필수 데이터를 워크스페이스 파일로 사전 저장하여 LLM의 외부 도구 의존성 최소화

실천 포인트

1. LLM API 호출 전 단계에 Proxy를 배치하여 Input/Output/Cache 토큰을 정규화된 형태로 로깅하고 있는가

2. Agent가 사용하는 Tool Schema 중 실제 호출되지 않는 오버헤드 데이터가 Context에 포함되어 있지 않은가

3. LLM의 판단이 필요 없는 단순 데이터 조회 작업을 Reasoning 단계(Tool Call) 대신 결정론적인 Script나 API 호출로 대체했는가

4. 반복적으로 필요한 데이터의 경우 Agent 실행 전 Setup 단계에서 Local File로 제공하여 토큰 소모를 방지했는가

태그