토큰 비용 절감과 Latency 제로화, Semantic Caching 도입 전략

Context

LLM 서비스의 동일 질문 반복 요청에 따른 불필요한 토큰 비용 발생. 단순 문자열 일치 방식의 기존 캐싱으로는 의미상 동일한 재구성 질문 처리 불가. 중복 요청으로 인한 API 비용 증가와 응답 지연 문제 상존.

Technical Solution

• 프롬프트를 Vector Embedding으로 변환하여 의미론적 유사도를 비교하는 Semantic Caching 구조 도입
• 정확한 일치(Exact Match)와 유사도 검색(Vector Similarity Search)을 순차적으로 수행하는 Dual-layer 캐싱 설계
• Weaviate, Redis, Qdrant 등 외부 Vector Store 연동을 통한 고성능 임베딩 데이터 관리
• HTTP 헤더 기반의 Per-request TTL 및 유사도 임계값 설정을 통한 세밀한 캐시 제어 전략
• 모델 및 제공자별 캐시 격리를 통해 서로 다른 LLM 응답이 혼용되는 현상 방지
• 대화 이력 길이에 따른 캐싱 스킵(ConversationHistoryThreshold) 설정을 통한 오탐지 확률 감소

Impact

• Bifrost 기준 요청당 오버헤드 11 microseconds 달성
• 단일 인스턴스당 초당 5,000 requests 처리 가능
• 쿼리의 30%가 의미론적으로 유사할 경우 유의미한 API 비용 절감 기대

Key Takeaway

단순한 결과 저장을 넘어 LLM의 특성인 '의미적 유사성'을 아키텍처 레벨에서 처리하여 인프라 비용 효율성과 사용자 경험을 동시에 개선하는 설계 원칙.