Semantic Caching 도입을 통한 LLM 비용 최대 73% 절감 및 응답 속도 최적화

Context

Exact String Match 기반의 기존 HTTP Cache 구조로 인해 의미상 동일한 쿼리임에도 중복 LLM 추론이 발생하는 비용 및 지연 시간 문제 발생. 쿼리의 50~70%가 의미적으로 중복되는 환경에서 API 호출 비용의 급격한 상승과 시스템 효율성 저하가 주요 병목 지점으로 파악됨.

Technical Solution

• Embedding Model을 활용한 사용자 쿼리의 고차원 Vector 변환 구조 설계
• Vector Database 내 저장된 기존 쿼리 Vector와 신규 쿼리 간의 Cosine Similarity 계산 로직 구현
• Configurable Threshold(예: 0.8) 설정을 통한 Cache Hit 여부 결정 및 LLM 추론 단계의 조건부 우회
• Cache Miss 발생 시 LLM 응답 결과를 Vector와 함께 저장하여 향후 유사 쿼리에 대응하는 Fast Path 구축
• Semantic Cache Poisoning 방지를 위한 Input Validation 및 Output Sanitization 레이어 검토
• 데이터 최신성 유지를 위한 TTL 정책 및 특정 Semantic Context 기반의 Explicit Invalidation 전략 적용