피드로 돌아가기
MnemoPay v1.4.0: 77.2% on LongMemEval, 1M-op stress test, and what the architecture actually looks like
Dev.toDev.to
AI/ML

LongMemEval 77.2% 달성 및 Merkle Chain 기반 무결성 메모리 아키텍처 구현

MnemoPay v1.4.0: 77.2% on LongMemEval, 1M-op stress test, and what the architecture actually looks like

t49qnsx7qt-kpanks2026년 4월 21일5advanced

Context

단순 Key-Value 저장 방식의 메모리 시스템으로 인한 정보 충돌 및 시간적 맥락 결여 문제 발생. LLM이 상충하는 정보 사이에서 스스로 판단해야 하는 구조적 한계로 인해 장기 기억 회복 성능 저하.

Technical Solution

  • Ebbinghaus decay curve 적용을 통한 시간 기반 Recency 및 Retrieval Frequency 점수 산출로 정보 중요도 동적 관리
  • Hebbian learning 원리를 이용한 빈번한 접근 메모리 강화 및 미사용 데이터의 Salience 감쇠 설계
  • EWMA 기반 행동 신호 모니터링을 통한 Behavioral Drift 탐지 및 임계값 초과 시 Anomaly Flag 생성
  • Merkle hashing 체인 도입을 통한 메모리 쓰기/수정 이력의 무결성 검증 및 감사 가능한 Forget Operation 구현
  • HMAC-SHA256 서명 영수증과 JWT 내장 Credit Score를 통한 에이전트 간 신뢰 계층 및 결제 이력 증명 구조 설계
  • Canary Honeypots 배치를 통한 Retrieval Path의 비정상 접근 실시간 감시 체계 구축

Impact

  • LongMemEval 벤치마크 기준 Oracle Score 77.2% 기록
  • 1M-op 스트레스 테스트 수행 시 데이터 손상 0건 달성
  • Multi-session 카테고리에서 66.9%의 정확도 확보

Key Takeaway

단순 저장보다 망각과 강화라는 생물학적 모델을 시스템에 투영하여 정보 밀도를 최적화하고, 금융 수준의 신뢰성이 필요한 에이전트 환경에서는 암호학적 무결성 증명이 필수적임.


- 장기 기억 시스템 설계 시 단순 최신순 정렬 대신 감쇠 함수(Decay Function) 도입 검토 - 에이전트의 행동 변화를 감지하기 위해 EWMA 기반의 롤링 베이스라인 모니터링 적용 - 감사 추적이 필요한 상태 변경 로그에 Merkle Tree 구조를 적용하여 위변조 방지 구현

원문 읽기