피드로 돌아가기
Dev.toAI/ML
원문 읽기
LongMemEval 77.2% 달성 및 Merkle Chain 기반 무결성 메모리 아키텍처 구현
MnemoPay v1.4.0: 77.2% on LongMemEval, 1M-op stress test, and what the architecture actually looks like
AI 요약
Context
단순 Key-Value 저장 방식의 메모리 시스템으로 인한 정보 충돌 및 시간적 맥락 결여 문제 발생. LLM이 상충하는 정보 사이에서 스스로 판단해야 하는 구조적 한계로 인해 장기 기억 회복 성능 저하.
Technical Solution
- Ebbinghaus decay curve 적용을 통한 시간 기반 Recency 및 Retrieval Frequency 점수 산출로 정보 중요도 동적 관리
- Hebbian learning 원리를 이용한 빈번한 접근 메모리 강화 및 미사용 데이터의 Salience 감쇠 설계
- EWMA 기반 행동 신호 모니터링을 통한 Behavioral Drift 탐지 및 임계값 초과 시 Anomaly Flag 생성
- Merkle hashing 체인 도입을 통한 메모리 쓰기/수정 이력의 무결성 검증 및 감사 가능한 Forget Operation 구현
- HMAC-SHA256 서명 영수증과 JWT 내장 Credit Score를 통한 에이전트 간 신뢰 계층 및 결제 이력 증명 구조 설계
- Canary Honeypots 배치를 통한 Retrieval Path의 비정상 접근 실시간 감시 체계 구축
Impact
- LongMemEval 벤치마크 기준 Oracle Score 77.2% 기록
- 1M-op 스트레스 테스트 수행 시 데이터 손상 0건 달성
- Multi-session 카테고리에서 66.9%의 정확도 확보
Key Takeaway
단순 저장보다 망각과 강화라는 생물학적 모델을 시스템에 투영하여 정보 밀도를 최적화하고, 금융 수준의 신뢰성이 필요한 에이전트 환경에서는 암호학적 무결성 증명이 필수적임.
실천 포인트
- 장기 기억 시스템 설계 시 단순 최신순 정렬 대신 감쇠 함수(Decay Function) 도입 검토 - 에이전트의 행동 변화를 감지하기 위해 EWMA 기반의 롤링 베이스라인 모니터링 적용 - 감사 추적이 필요한 상태 변경 로그에 Merkle Tree 구조를 적용하여 위변조 방지 구현