AI 에이전트의 메모리 열화를 해결하기 위해 실행 결과 기반의 Retrieval Scoring과 Drift Detection을 제공하는 Engram 메모리 API를 구축했다

Context

AI 에이전트 프레임워크는 시간에 따라 메모리 열화가 발생한다. 초기에는 잘 동작하지만 수 주가 지나면 오래된 사실을 기반으로 잘못된 판단을 내린다. 기존 벡터 검색 방식은 의미적 유사도를 기반으로 동작하기 때문에 사실의 정확성과 무관하게 가장 비슷한 벡터를 반환하는 문제가 있다.

Technical Solution

• Vector Search의 한계를 해결하기 위해 사실의 정확도를 별도로 추적하는 Retrieval Scoring 메커니즘을 구현했다
• 에이전트가 사실을 조회하여 사용하고 태스크가 성공하면 점수가 상승하고 실패하면 점수가 하락하는 피드백 루프를 설계했다
• 2주 이상 조회되지 않은 사실의 점수를 자동으로 감소시키는 시간 기반 Decay를 적용했다
• Drift Detection 기능을 통해 오래된 사실, 낮은 점수 사실, 모순되는 사실을 주기적으로 감지한다
• Engram은 MCP Server로 배포되어 Claude Desktop, Claude Code, Cursor에서 7개 도구(store_fact, search_facts, score_fact, detect_drift, list_facts, delete_fact, memory_stats)를 제공한다

Impact

새로운 사실이 지속적으로 입력되고 평가됨에 따라 시간이 지날수록 정확한 사실이 상위로 노출되고 부정확한 사실은 자연스럽게 하위로sink한다

Key Takeaway

벡터 유사도만으로는 사실의 정확성을 보장할 수 없으며, 실행 결과를 기반으로 한 Scoring과 주기적인 Drift Detection이 자율 에이전트의 신뢰성 있는 메모리 관리에 필수적이다