Stateless LLM 한계를 극복한 3계층 AI Memory 시스템 설계

Context

기존 LLM의 Stateless 특성으로 인한 문맥 유지 불가 및 사용자 경험 저하 발생. 대규모 컨텍스트를 프롬프트에 직접 삽입하는 방식의 높은 비용과 지연 시간 문제 직면.

Technical Solution

• 개별 인터랙션과 이벤트 로그를 저장하여 과거 이력을 추적하는 Episodic Memory 구조 설계
• Episodic Memory의 패턴을 분석하고 응축하여 사용자 프로필과 도메인 지식을 저장하는 Semantic Memory 기반의 지식 고도화
• 현재 작업의 상태와 단기 컨텍스트를 관리하는 TTL(Time-To-Live) 기반 Working Memory 운영
• 반복적인 증거 수집을 통한 Semantic Memory의 Confidence Level 강화 및 데이터 신뢰도 확보
• 메모리 데이터의 무한 증식 방지를 위한 데이터 정리 및 최적화 전략 적용
• 사용자 간 데이터 격리를 통한 보안성 확보 및 접근 제어 설계