피드로 돌아가기
Dev.toAI/ML
원문 읽기
LoCoMo·LongMemEval 1위 달성한 Message-level 메모리 아키텍처
We're still the only one to hit #1 on both LoCoMo and LongMemEval. Here is how to use it.
AI 요약
Context
기존 Long-context 모델들이 Context Window 확장이라는 Brute-force 방식으로 장기 기억을 처리하며 토큰 비용 증가와 정확도 저하 문제를 야기함. 특히 지속적 메모리 유지 시 상용 어시스턴트들의 정확도가 약 30% 하락하는 성능 병목 발생.
Technical Solution
- 단순 컨텍스트 확장이 아닌 Message-level에서 사실 단위로 메모리를 구축하는 아키텍처 설계
- 대화 발생 시점에 개별 Fact를 추출하여 저장하고 필요 시점에만 Retrieval 하는 동적 메모리 구조 채택
- memory="Auto" 설정을 통한 새로운 정보의 자동 업데이트 및 기존 정보 대체 로직 구현
- assistant_id 기반의 세션 독립적 Fact 저장을 통해 다중 세션 간 Reasoning 가능 구조 확보
- 정밀도가 필요한 케이스를 위해 memory_pro="Auto" 모드로 Retrieval 정밀도 최적화 옵션 제공
- Readonly 모드 설정을 통해 근거 없는 정보 생성을 방지하는 Abstention 메커니즘 적용
실천 포인트
1. LLM 설계 시 Context Window 크기에 의존하기보다 Fact 단위의 외부 메모리 저장 구조 검토
2. 정보 업데이트가 빈번한 도메인인 경우 기존 정보를 대체하는 Knowledge Update 로직 설계
3. 비용 최적화를 위해 일반 Retrieval(Auto)과 고정밀 Retrieval(Pro) 모드를 분리하여 운영
4. 할루시네이션 방지를 위해 메모리 읽기 전용(Readonly) 모드 적용 여부 확인