단가 낮은 모델의 실질 비용 최대 28배 급증하는 Price Reversal 현상

Context

단순 토큰 단가 기반의 비용 산정 방식은 Reasoning Model의 내부 추론 과정과 Agentic Workflow의 특성을 반영하지 못함. 특히 Reasoning Token의 가변성과 다회차 상호작용에 따른 컨텍스트 누적으로 인해 예상 비용과 실제 청구액 사이의 심각한 괴리 발생.

Technical Solution

• Reasoning Token의 출력 비용 산입으로 인한 Overthinking 기반의 비용 상승 구조 분석
• Agent의 도구 사용 및 반복 루프에 따른 Turn 수 증가와 그로 인한 비용 선형 초과 증가 파악
• 대화 이력 재전송 시 발생하는 $T(T+1)/2$ 형태의 Quadratic Context Growth 모델링
• Prompt Cache 도입을 통한 중복 컨텍스트 처리 비용 절감 시도
• Workload 기반의 실제 비용 측정 및 모델별 Cost-per-Result 최적화 전략 수립
• 토큰 예산 설정, 루프 감지, 이력 요약 및 조기 종료(Early Stopping) 등 아키텍처적 제약 조건 설계