Cognitive Science 기반 3중 메모리 구조로 Recall@10 0.89 달성

Context

LLM Context Window의 물리적 한계로 인한 비용 증가와 Latency 상승 문제 발생. 특히 입력 데이터가 많아질수록 중간 정보를 무시하는 "lost in the middle" 현상으로 인해 장기 기억 저장소의 필요성 증대.

Technical Solution

• 인지과학 기반 Episodic, Semantic, Procedural 3가지 메모리 카테고리를 정의하여 개별 Elasticsearch Index로 분리 관리
• User Input을 Episodic Memory로 저장 후 LLM Consolidation 과정을 통해 durable facts(Semantic) 및 Playbooks(Procedural)로 추상화 및 전이
• 성공/실패 카운터를 통한 Procedural Memory 가중치 부여로 최적의 문제 해결 경로 검색 효율 최적화
• BM25 Lexical Search와 Jina v5 Semantic Search를 결합한 Hybrid Query 및 Reciprocal Rank Fusion(RRF) 적용
• Cross-encoder Reranker를 통한 최종 결과 재정렬 및 Document-level Security(DLS) 기반의 엄격한 User Isolation 구현
• Scripted Scoring 및 대규모 Vector 처리 성능 확보를 위해 SQLite 등 경량 DB 대신 Elasticsearch 채택

Impact

질의응답 능력 평가에서 Recall@10 0.89 수치 기록.