MCP Tool Definition의 Context 비용 측정 및 Token Tax 최적화

Context

MCP Server의 Tool Definition이 LLM Context Window를 지속적으로 점유하며 발생하는 비용 및 성능 저하 문제 발생. Tool Search의 Lazy Loading 방식은 로딩 시점만 늦출 뿐 실제 실행 시 Context에 포함되는 Token Tax 자체를 제거하지 못하는 한계 존재.

Technical Solution

• tiktoken 라이브러리를 활용하여 MCP Server의 tools/list JSON 데이터 내 각 도구 정의를 개별적으로 Tokenizing 하는 분석 구조 설계
• JSON-RPC Handshake를 통한 실시간 데이터 캡처 및 미리 정의된 JSON Fixture 기반의 결정론적(Deterministic) 측정 방식 제공
• 도구별 이름, 설명, JSON Schema의 길이를 정량화하여 전체 Context Window 대비 점유율과 라운드당 예상 비용 산출
• 단순 합산이 아닌 도구별 비중 분석을 통해 비효율적인 Verbose Definition을 식별하는 Asymmetry 분석 기법 적용
• 모델의 Tool Selection Accuracy 향상을 위해 불필요한 정의를 제거하고 Context 밀도를 최적화하는 전략 수립

Impact

• Filesystem MCP Server 기준 14개 도구가 2,638 Token을 점유하며 200K Window의 약 1.3% 소비 확인
• Anthropic 내부 테스트 결과, 불필요한 Tool Definition 제거 시 Tool Selection Accuracy가 49%에서 74%로 상승