Prompt Caching 기반 Flash-Pro 이원화 모델을 통한 추론 비용 최적화

Context

고정된 시스템 프롬프트와 반복되는 컨텍스트 사용 시 발생하는 중복 연산 비용 문제. 단일 모델 사용 시 발생하는 과도한 API 비용과 추론 성능 간의 Trade-off 해결 필요.

Technical Solution

• Cache-hit/miss 구분 과금 체계 도입을 통한 반복 입력 토큰 비용 절감
• 고볼륨 단순 작업 수행을 위한 Flash 모델과 고난도 추론용 Pro 모델의 계층적 분리
• Task 난이도 및 Failure Cost에 따른 Dynamic Routing 전략 적용
• 시스템 프롬프트 안정화를 통한 Prompt Caching 효율 극대화
• 단순 챗, 추출, 분류 작업의 Flash 모델 우선 할당을 통한 처리량 증대
• 복잡한 코드 수정 및 에이전트 플래닝 작업의 Pro 모델 에스컬레이션 구조 설계