Semantic Caching 및 데이터 기반 최적화로 LLM API 비용 60% 절감

Context

반복적인 System Prompt와 Retrieval 문서로 인한 Input Token 낭비가 비용 상승의 주원인으로 분석됨. 단순 모델 교체나 Output 제한은 품질 저하를 초래하여 실질적인 비용 효율을 달성하기 어려운 구조적 한계 존재.

Technical Solution

• 정확한 비용 분석을 위해 Call Type별 Token 카운트와 Latency를 기록하는 Middleware instrumentation 구축
• 단순 String Match가 아닌 Embedding 기반의 Cosine Similarity를 활용한 Semantic Caching 계층 도입
• 유사도 임계치(Similarity Threshold 0.95) 설정을 통한 신규 요청과 캐시 응답의 정밀한 구분
• 단순 벤치마크가 아닌 실제 Workload 데이터를 기반으로 한 모델 라우팅 전략 수립
• Context Compression을 통해 중복 Input Token을 제거하여 토큰 효율 극대화
• 비실시간 작업에 한해 Batch API를 적용하여 처리 비용 50% 절감 시도