Stateless LLM 한계 극복을 위한 Memory-First Agent 아키텍처 설계

Context

기존 LLM 기반 Agent의 Stateless 특성으로 인한 세션 간 컨텍스트 유실 및 정보 망각 문제 발생. Context Window에 정보를 강제로 삽입하거나 단순 로그를 재로드하는 임시 방편으로 인한 구조적 한계 및 멘탈 모델 부재 해결 필요.

Technical Solution

• 외부 Persistent Storage를 통한 Long-term Memory 인프라 구축으로 모델 외부의 구조화된 상태 관리 구현
• Semantic Tool Memory 도입을 통한 Vector Store 기반 도구 인덱싱 및 추론 시점에 최적의 도구만 선별 추출하는 효율적 아키텍처 설계
• Raw Interaction에서 정형 팩트를 추출하고 Episodic Memory를 Semantic Memory로 응축하는 LLM 기반 Pipeline 구축
• 스스로 지식 베이스의 충돌을 해결하고 업데이트하는 Write-back Loop 구현을 통한 자율적 지식 최적화
• Vector Search, Graph Traversal, Relational Query를 통합한 Converged Database 활용으로 데이터 타입별 파편화된 인프라 복잡성 제거
• 실행 중 중간 추론 상태를 Checkpoint로 저장하고 시작 시 Long-term Memory에서 초기화하는 Stateful Agent 워크플로우 설계