LLM 프롬프트 토큰 60% 절감, JSON 대신 TOON 도입 전략

Context

LLM API 호출 시 JSON 형식의 구조적 데이터 전송으로 인해 과도한 토큰 소비 발생. 반복되는 Key 값과 구문 기호가 비용 증가와 컨텍스트 윈도우 낭비의 주원인으로 작용.

Technical Solution

• 데이터 반복을 제거한 TOON(Token-Oriented Object Notation) 인코딩 방식 도입
• 헤더에 필드명을 단 한 번만 선언하고 이후 값만 나열하는 데이터 구조 설계
• JSON과 TOON 간의 손실 없는 1:1 양방향 변환 레이어 구축
• API 전송 직전 단계에서 데이터를 TOON으로 변환하여 전송하는 미들웨어 전략 적용
• 중첩 구조가 적은 균일한 객체 배열 데이터에 최적화된 전송 방식 채택

Impact

• JSON(Compact) 대비 토큰 사용량 최대 60.4% 절감
• GPT-4o 기준 일일 1만 건 요청 시 월 비용 $2,400에서 $1,387로 약 $1,013 감소
• Claude Opus 4.6 사용 시 연간 최대 $24,300 비용 절감 가능

Key Takeaway

LLM 통신 시 데이터 모델의 논리적 구조와 전송 인코딩 형식을 분리하여 최적화함으로써 운영 비용을 획기적으로 낮출 수 있는 설계 원칙.