Cache-aware Routing 도입을 통한 입력 토큰 비용 24.7% 절감

Context

기존 Claude Opus 4.7 모델은 도구 호출 사이클마다 계획 단계를 새로 수행하여 Prompt Caching 효율이 낮았음. 특히 Reasoning 과정에서 메시지 리스트 재구성 시 기존 Cache Boundary를 무너뜨려 불필요한 토큰 소모가 발생하는 구조적 한계가 존재함.

Technical Solution

• Cache-aware Routing 메커니즘 도입을 통한 내부 Trace 유지 및 다음 계획의 Cache Breakpoint 유지 유도
• 이전 단계의 Cache hit 위치(Position K)를 인식하여 0~K 구간의 안정성을 유지하는 방향으로 Reasoning 신호 최적화
• 200k Context Window 전 구간에서 성능 저하 없는 Flat한 정확도 유지로 대규모 컨텍스트 주입 패턴의 효율성 확보
• System Prompt와 Tool Catalog에 ephemeral cache_control을 적용하여 반복적인 도구 호출 루프 내 비용 최적화
• Model ID Pinning 전략을 통한 4.7과 4.8 버전 간의 명시적 제어 및 런타임 동작 예측 가능성 확보