피드로 돌아가기
Dev.toAI/ML
원문 읽기
LLM Token 소모 없는 94.4% LongMemEval 달성 Memory API
I Built a Memory API That Beats Mem0 on LongMemEval Without Using a Single LLM Token
AI 요약
Context
기존 Memory 시스템의 LLM 기반 Reasoning Pass로 인한 고비용 Token 소모 및 느린 응답 속도 발생. 프로세스 종료 시 휘발되는 메모리와 특정 LLM Provider 종속성으로 인한 Agent 간 컨텍스트 공유 제약 존재.
Technical Solution
- LLM을 배제한 Purpose-built Retrieval Engine 설계를 통한 Retrieval 단계의 Token 소모 zero 구현
- Task ID와 Role 기반의 Namespace 패턴을 도입하여 Agent 간 독립 메모리와 공유 메모리를 분리한 구조 설계
- Memory Layer에서 Reasoning을 제거하고 Retrieval 결과만을 제공하여 LLM이 상위에서 추론하는 역할 분리
- Backend Agnostic 프레임워크 설계를 통해 특정 API 종속성을 제거하고 유연한 스토리지 교체 가능성 확보
- Database 레벨의 격리를 통한 Multi-tenant 환경의 사용자별 데이터 독립성 보장
- Iteration 결과를 저장하고 Recall 하는 Self-improving Pipeline으로 지능적 반복 루프 구현
실천 포인트
1. Memory Retrieval 시 LLM Reasoning Pass가 필수적인지 분석하여 Token 비용 최적화 검토
2. Multi-Agent 설계 시 Message Passing 대신 Namespace 기반의 Shared Memory 구조 도입 고려
3. Long-term Memory 구현 시 Provider 종속성을 제거한 Backend Agnostic 설계 적용 여부 확인