피드로 돌아가기
Dev.toAI/ML
원문 읽기
RAG의 휘발성 극복을 위한 3계층 Persistent Memory 아키텍처 설계
Your AI Doesn't Remember You. That's About to Matter More Than You Think.
AI 요약
Context
기존 RAG 방식의 쿼리 시점 단순 정보 추출로 인한 지식 축적 불가 및 매 세션 초기화되는 Context Window의 한계 분석. 지식의 재추론(Re-derivation) 비용 발생으로 인한 AI 코딩 어시스턴트의 효율성 저하 문제 식별.
Technical Solution
- Immutable Raw Sources 계층을 통한 원본 데이터 무결성 유지 및 참조 기반 구조 설계
- LLM이 직접 관리하는 Wiki 및 Knowledge Graph 계층을 도입하여 지식의 점진적 구조화와 상호 연결 구현
- JSONL 포맷의 엔티티, 관계, 관찰 기록을 통한 개인화된 인지 기질(Cognitive Substrate) 구축
- Hybrid Vector 및 BM25 Search를 결합한 Qdrant 기반의 고효율 컨텍스트 검색 메커니즘 적용
- MCP(Model Context Protocol) 서버를 통한 세션 라이프사이클 자동화 및 메모리 영속성 확보
- 단순 검색을 넘어 그래프 탐색을 통한 Multi-hop Reasoning 및 인과 관계 추론 체계 설계
실천 포인트
1. 단순 RAG 도입 전 지식의 재사용 주기와 축적 필요성 검토
2. 원본 데이터(Raw)와 가공 데이터(Wiki/Graph)의 계층 분리 설계 적용
3. 엔티티 간 관계를 정의하는 스키마(Schema)를 통해 LLM의 추론 경로 가이드 제공
4. MCP 등 표준 프로토콜을 활용한 외부 메모리 인터페이스 통합 검토