Hindsight 기반 Memory Store와 Cascadeflow 라우팅으로 개인화 구현 및 비용 95% 절감

Context

Stateless한 AI 봇 구조로 인해 사용자 재방문 시 과거 상호작용 데이터를 상실하는 한계 발생. 매 세션마다 동일한 제네릭 응답을 반복하는 Memory-less 아키텍처의 병목 지점 파악.

Technical Solution

• Hindsight 라이브러리를 활용한 User-specific Memory Bank 구축으로 Persistent Storage 계층 확보
• 'Retain $\rightarrow$ Recall $\rightarrow$ Reflect' 파이프라인을 통한 사용자별 컨텍스트 추출 및 Prompt 주입
• FastAPI 기반 백엔드에서 사용자 ID별 Memory Bank 생성 및 최신 코멘트 업데이트 로직 구현
• 단순 Prompt Stuffing 방식의 한계를 극복하기 위해 Timestamp 기반의 구조화된 Memory System 채택
• Cascadeflow를 이용한 Runtime Intelligence Layer 도입으로 LLM Model Routing 최적화
• Enforce 모드 설정을 통해 쿼리 복잡도에 따라 저비용 모델에서 고성능 모델로 단계적 Escalation 수행