Claude API 토큰 최적화로 입력 비용 최대 62% 절감 및 성능 유지

Context

LLM API 호출 시 데이터 포맷에 따른 Token 소비량 차이가 비용의 핵심 변수로 작용함. 기존 벤치마크가 GPT 및 Gemini에 편중되어 Claude 모델의 포맷별 효율성과 정확도 상관관계에 대한 정밀한 데이터가 부족한 상황임.

Technical Solution

• 데이터 특성에 따른 포맷 최적화 전략을 통해 Semantic 의미는 유지하고 Syntactic 오버헤드(Quotes, Braces 등)를 제거한 설계
• TOON(Token-Oriented Object Notation) 도입을 통한 YAML의 들여쓰기와 CSV의 행 기반 인코딩 결합으로 Array 데이터의 Token 밀도 극대화
• 하이엔드 모델(Sonnet, Opus)의 포맷 불감성(Format Insensitivity)을 활용하여 정확도 손실 없는 비용 절감 구조 설계
• 하위 모델(Haiku)의 경우 데이터 구조(Hierarchy, Dependency)에 최적화된 포맷(YAML, JSON)을 매칭하여 정확도 저하 방지
• 지시문은 Markdown, 데이터는 TOON, 출력은 용도(Parsing vs Human-readable)에 따라 JSON 또는 Markdown을 선택하는 멀티 포맷 프롬프트 전략 채택

Impact

• JSON 대비 TOON 사용 시 입력 토큰 최대 62%~73% 절감
• Opus 모델 기준 월 100K 요청 시 입력 비용 약 $3,039 절감 가능
• Sonnet 및 Opus 모델에서 포맷 변경과 무관하게 100% 동일한 정답률 유지
• Haiku 모델의 경우 포맷 선택에 따라 정확도가 최대 36%p 차이 발생

Key Takeaway

LLM의 추론 능력(Tier)이 높을수록 데이터 포맷의 구문적 제약에서 자유로우므로, 고성능 모델 사용 시에는 정확도보다 Token 비용 효율성을 최우선으로 한 포맷 설계가 경제적임.