Prompt Caching와 Routing 최적화를 통한 AI 비용 절감 및 벤더 종속성 해소 전략

Context

단순 모델 성능 향상보다 API 표면과 비용 구조의 변화가 시스템 아키텍처에 더 큰 영향을 미치는 상황. 모든 요청을 단일 플래그십 모델로 처리함에 따라 발생하는 과도한 비용 지출과 특정 벤더 SDK에 의존하는 강한 결합도 문제가 발생함.

Technical Solution

• 요청별 난이도에 따라 Fast Path와 Reasoning Path로 분기하는 Routing Decision 구조 설계
• 고정된 System Prompt 및 Tool Schema를 전면에 배치하여 Cache Hit율을 극대화하는 Prompt Caching 적용
• 실시간 응답이 불필요한 작업에 대해 Batch Endpoint를 활용한 비동기 처리 파이프라인 구축
• 벤더 전용 SDK와 애플리케이션 로직 사이에 Thin Adapter 계층을 배치하여 Provider 간 전환 비용 최소화
• MCP(Model Context Protocol)와 같은 개방형 표준 채택을 통한 데이터 소스와 모델 간의 느슨한 결합 구현
• 퍼블릭 벤치마크 대신 실제 트래픽을 반영한 20개 이상의 자체 Eval Set 기반 모델 검증 프로세스 도입