The architecture of persistent AI memory: Beyond simple vector search

Context

기존 RAG 구현은 임베딩을 벡터 데이터베이스에 저장하고 코사인 유사도만으로 검색해 모든 정보를 동등하게 취급했다. 3년 전 언급한 커피와 10분 전의 중요한 생활 사건이 벡터 거리만으로 동일하게 가중되는 문제가 발생했다.

Technical Solution

• 하이브리드 스코링 알고리즘 도입: OpenAI text-embedding-3-small과 pgvector로 1536차원의 의미 관련성을 70% 가중치로 처리
• 시간 감쇠 함수 구현: SQL 쿼리에서 생성 시점 기준 에포크 차이를 계산해 최근 30일 데이터를 지수적으로 가중치 부여 (15% 가중치)
• 명시적 중요도 점수 할당: 메모리 추출 시 정보의 중요성에 따라 점수 부여 (사용자 이름, 의료 알레르기는 높음, 날씨 댓글은 낮음) (15% 가중치)

Key Takeaway

AI 에이전트의 장기 메모리 설계는 의미 관련성 단일 지표가 아닌 '무엇을 언제 얼마나 중요하게 저장했는가'의 3가지 차원을 통합해야 한다. 이는 기계적 데이터 검색에서 인간의 상황 인식을 반영하는 메모리 시스템으로의 진화를 의미한다.