피드로 돌아가기
Dev.toAI/ML
원문 읽기
Write-Everything 전략과 Prefix Indexing을 통한 LLM 메모리 Retrieval 정밀도 극대화
What Happens When You Treat Every Sales Event as a Memory Write
AI 요약
Context
LLM 애플리케이션 설계 시 메모리를 단순 retrieval 문제로 접근하여 저장 단계의 데이터 품질과 구조를 간과하는 한계 발생. 저장 시점의 선택적 데이터 기록은 쿼리 시점의 요구사항을 예측할 수 없게 만들어 검색 노이즈를 유발하는 병목 지점으로 작용.
Technical Solution
- Write-Everything 원칙 적용을 통한 모든 도메인 이벤트의 명시적 메모리 기록 및 Deal Lifecycle의 완전한 추적 가능 구조 설계
- Embedding Text에 [TYPE] Prefix를 추가하여 Vector Space 상에 Soft Categorical Index를 형성함으로써 Semantic Search의 정확도 향상
- 정적인 사실(Facts)을 관리하는 store_memory와 시간 순서의 대화 패턴을 기록하는 store_interaction 파이프라인의 계층 분리
- External Dependency 장애 및 개발 병목 해결을 위해 Local Fallback Store를 구축한 Graceful Degradation 구조 채택
- Metadata와 Embedding Text의 목적을 분리하여 구조화된 데이터 관리와 의미론적 검색 성능을 동시에 확보하는 설계
실천 포인트
- LLM 메모리 저장 시 임의의 필터링 대신 모든 이벤트를 기록하고 쿼리 시점에 필터링하는 전략 검토 - Vector DB 저장 전 텍스트에 [CATEGORY] 형태의 Prefix를 추가하여 검색 정밀도 테스트 - 외부 API 의존성 제거를 위해 로컬 수준의 Mock/Fallback 저장소를 구현하여 개발 생산성 확보 - 사실 관계 기반의 정적 메모리와 대화 흐름 기반의 동적 메모리를 분리하여 저장 구조 설계