Memory-Routing 계층화로 쿼리 비용 83% 절감 및 컨텍스트 유지 실현

Context

기존 서포트 봇의 세션 간 기억 상실로 인한 반복적 정보 요청과 높은 운영 비용 발생. 단순 FAQ 수준의 응답 체계로 인한 사용자 경험 저하 및 고비용 모델의 무분별한 사용이 병목 지점으로 작용.

Technical Solution

• Hindsight 레이어를 통한 유저별 Vector Namespace 기반의 구조화된 컨텍스트 저장 및 Semantic Retrieval 구현
• Cascadeflow 라우팅 로직을 도입하여 쿼리 복잡도에 따른 LLM 모델의 계층적 할당 체계 구축
• 단순 요청(Password Reset 등)은 Groq Free Tier로 처리하고 복잡한 분쟁 건만 고성능 모델로 Escalation 하는 비용 최적화 설계
• 모델, 비용, 지연시간, 판단 근거를 포함한 Decision Logging 시스템을 통한 라우팅 정밀도 검증
• Hindsight의 반복 이슈 감지 데이터와 Cascadeflow의 라우팅 로직을 결합하여 자동 Complex Query 분류 체계 구축