피드로 돌아가기
Dev.toAI/ML
원문 읽기
Vector Search 한계를 극복한 Bi-temporal Memory Layer 설계
Long-Term Memory for LLM Agents That Works
AI 요약
Context
단순 Vector Database 기반의 Top-k Retrieval 구조는 시계열 데이터의 변화와 사실 관계의 최신성을 반영하지 못하는 한계 존재. 단순 유사도 기반 검색은 상충하는 정보 발생 시 충돌 해결 기전이 없어 LLM의 환각을 유발하는 구조적 결함 보유.
Technical Solution
- 단순 Chat Transcript 저장을 배제한 Fact Extraction 기반의 구조화된 메모리 저장 방식 채택
- 사실의 유효 기간과 시스템 기록 시점을 분리 관리하는 Bi-temporal Memory 모델 도입을 통한 시점별 상태 복원 구현
- Semantic Similarity와 Entity-Relation 기반의 Hybrid Retrieval 방식을 통한 검색 정확도 향상
- 응답의 근거를 추적하는 Provenance 시스템 구축으로 Grounding 및 디버깅 가능성 확보
- 프롬프트 수준의 충돌 해결을 지양하고 데이터 모델 계층에서 버전 관리 및 유효성 로직을 처리하는 Memory Layer 아키텍처 설계
실천 포인트
- 모든 대화 로그를 저장하는 대신 유의미한 사실만 추출하여 저장하는 Selective Memory 전략 검토 - 정보 변경이 잦은 도메인인 경우 Bi-temporal Timestamp(유효 시점 및 기록 시점) 도입 여부 확인 - Vector Store 단일 의존도를 낮추고 하이브리드 검색 및 Reranking 파이프라인 구성 - 메모리 데이터의 출처(Provenance)를 함께 저장하여 추적 가능성 확보