외부 Memory API 도입을 통한 LLM 대화 컨텍스트 관리 비용 제거

Context

WhatsApp 봇의 Stateless 특성으로 인해 메시지 간 상태 유지가 불가능한 구조적 한계 존재. 기존의 수동 구현 방식은 DB 설계, Token Window 관리, LLM 제공사별 포맷 변환 등 반복적인 인프라 구축 비용이 과다하게 발생하는 문제 발생.

Technical Solution

• 세션 기반의 External Memory API 도입을 통한 상태 관리 계층의 추상화
• REST API 기반의 메시지 저장(POST) 및 포맷팅된 컨텍스트 호출(GET) 구조 설계
• Token Budget 기반의 자동 Truncation 및 오래된 대화의 자동 Summarization 로직 적용으로 Prompt Limit 해결
• 쿼리 파라미터를 통한 LLM Provider(OpenAI, Anthropic 등)별 메시지 스키마 동적 변환 처리
• Session Metadata Store를 통한 사용자 프로필 및 주문 이력 등 비정형 데이터의 통합 관리