LLM 기반 AI 에이전트에 3계층 메모리 아키텍처를 적용해 세션 간 기억 능력을 구현하는 기법

Context

LLM은 방대한 파라메트릭 메모리를 보유하지만 작업별 대화 맥락을 유지하는 에피소딕 메모리가 부족하다. 컨텍스트 윈도우 확장은 비용과 지연 시간 증가, 특정 정보 검색 비효율성 문제를 수반한다.

Technical Solution

• [Short-Term Memory] → deque 자료구조로 최근 대화 기록을 버퍼링하고 토큰 수 기준으로 자동 트리밍
• [Long-Term Memory] → 텍스트를 벡터 임베딩으로 변환 후 Chroma 같은 Vector Database에 의미 기반 검색 저장
• [Memory Orchestrator] → 저장 대상 선별, LTM 쿼리 타이밍 결정, 단기/장기 메모리 병합 로직 수행
• [에이전트 루프] → Receive → Query LTM → Build Context → Generate → Act → Store → Update 순서로 반복 실행

Impact

1M 토큰 컨텍스트 대비 4k 토큰 + Vector Search 조합이 비용 및 지연 시간 측면에서 효율적

Key Takeaway

컨텍스트 윈도우 확장은 밴드에이드에 불과하며, 영속적이고 검색 가능하며 선택적인 메모리 시스템이 에이전트 설계의 핵심이다.