Semantic Cache 및 BM25 압축을 통한 API 비용 50% 절감

Context

반복적인 쿼리 발생 및 불필요한 컨텍스트 포함으로 인한 API 비용의 기하급수적 증가 상황. 모델 선택 최적화 부재로 인해 단순 작업에 고비용 모델을 사용하는 비효율적 구조의 한계 발생.

Technical Solution

• sentence-transformers/all-MiniLM-L6-v2 기반 Vector Embedding을 활용한 Semantic Cache 구축으로 유사 쿼리 비용 제로화
• Cosine Similarity 임계값(0.80) 설정을 통한 캐시 히트 여부 결정 및 usearch 기반의 고속 ANN Lookup 적용
• BM25 알고리즘을 이용한 Lexical Scoring 기반 Prompt Compressor 설계로 불필요한 토큰을 제거하여 입력 비용 최소화
• 쿼리 복잡도 및 키워드 분석 기반의 Rule-based Model Router를 통한 작업별 최적 비용 모델(Haiku, Sonnet, Opus) 자동 배정
• Local CLI 기반의 Proxy 계층 설계를 통한 데이터 유출 방지 및 네트워크 오버헤드 최소화

Impact

• Prompt Compressor 적용 시 370 토큰에서 61 토큰으로 83%의 토큰 사용량 절감
• 캐시 히트 시 API 호출 비용 0원 달성 및 후속 쿼리 응답 속도 100ms 미만 구현
• 단순 팩트 체크 및 코드 생성 작업의 모델 라우팅을 통한 비용 효율 극대화

Key Takeaway

LLM 서비스 설계 시 단순 API 호출이 아닌 Cache-Compress-Route 단계의 미들웨어 계층을 도입함으로써 성능과 비용의 Trade-off를 최적화할 수 있는 구조적 접근 필요