Intent-based routing 및 Semantic Caching을 통한 LLM 비용 최적화 및 가용성 확보

Context

단일 LLM 모델 의존으로 인한 비용 효율성 저하 및 Provider 장애 시 시스템 전체가 중단되는 Single Point of Failure 문제 발생. 프롬프트 복잡도에 관계없이 고비용 모델을 호출하는 비효율적 구조의 개선 필요성 대두.

Technical Solution

• App과 LLM 사이에 Router Layer를 배치하여 요청 성격에 따라 모델을 분기하는 Gateway 아키텍처 설계
• Embedding Similarity 기반의 Intent-based Routing을 통해 Simple/Reasoning/Fallback 모델로 요청을 자동 배분
• 중복 호출 방지 및 응답 속도 향상을 위해 Semantic Caching 레이어 도입
• Provider 장애 시 즉각적인 전환이 가능한 Health-aware Failover 메커니즘 구현
• 외부 API 의존성 제거를 위해 Transformers.js 기반 BGE 모델을 이용한 Local Embedding 처리 시도
• 단순 Heuristic 방식의 한계를 극복하기 위해 저비용 모델 우선 호출 후 필요 시 상위 모델로 전달하는 Cheap-first Routing 전략 채택