피드로 돌아가기
Dev.toAI/ML
원문 읽기
Stateless Prompt 한계를 극복한 계층적 Agent Memory 아키텍처 설계
Engineering Agent Memory
AI 요약
Context
대부분의 LLM API가 Stateless 방식으로 동작하여 이전 대화 맥락을 유지하지 못하는 구조적 한계 존재. 단순한 Conversation History Append 방식은 Token Limit 초과 및 Retrieval 비용 증가, 불필요한 정보로 인한 추론 성능 저하 문제를 야기함.
Technical Solution
- 단순 Transcript 저장을 배제하고 의도적인 저장-인덱싱-추출 기반의 Memory Architecture 도입
- Working Memory를 통해 현재 실행 사이클의 Tool Output 및 즉각적 사용자 목표를 Runtime State로 관리
- Semantic Memory 구조 설계를 통해 사용자 선호도 및 지식 파편을 Vector Database 기반의 Long-term Knowledge로 영속화
- Episodic Memory 설계를 통해 과거 액션과 결과물을 구조화된 Event 형태로 저장하여 경험 기반 추론 지원
- Extract-Embed-Store 파이프라인을 구축하여 전체 대화 중 유의미한 정보만 요약 및 구조화하여 저장하는 로직 구현
- Oracle Database 26ai의 VECTOR 데이터 타입을 활용한 네이티브 저장 및 인덱싱 최적화
실천 포인트
- 대화 전체를 프롬프트에 넣는 대신, 유의미한 정보만 추출하는 extract_memory 로직 설계 여부 검토 - Working, Semantic, Episodic Memory의 세 가지 계층으로 메모리 저장소 분리 및 관리 - Vector DB 도입 시 단순 저장뿐 아니라 쿼리 패턴에 따른 인덱싱 전략 수립 - 세션 간 지속성이 필요한 데이터의 Lifecycle 관리 방안 마련