LLM의 컨텍스트 윈도우 한계를 벡터 데이터베이스 기반 기억 시스템으로 극복하여 AI 에이전트에 연속적 맥락 인식 기능을 부여하는 실용적 방법

Context

LLM은 고정된 컨텍스트 윈도우 크기 제한으로 인해 이전 대화 내용을 자동 기억하지 못한다. 모든 과거 대화를 매 요청마다 전달하면 비용, 지연시간, 컨텍스트 길이 제한 문제가 발생한다. 이 한계는 지속적 개인화 어시스턴트 구현의 핵심 병목으로 작용한다.

Technical Solution

• LLM → 대화 텍스트를 OpenAI text-embedding-3-small 모델로 고차원 벡터로 변환하는 단계
• ChromaDB → 벡터화된 대화 조각과 메타데이터를 영구 저장하는 벡터 데이터베이스 구성 단계
• query_memories() 함수 → 현재 질의를 벡터화 후 코사인 유사도로 가장 유사한 과거 기억을 검색하는 단계
• save_memory() 함수 → 각 대화 후Embedding과 메타데이터를 user_id로 필터링하여 저장하는 단계
• Retrieve-Augmented Generation → 검색된 관련 기억을 현재 프롬프트에 주입하는 단계

Impact

컨텍스트 윈도우 크기 제약 없이 수천 개의 과거 대화를 검색 기반으로 접근 가능해진다.

Key Takeaway

벡터 임베딩과 유사도 검색이라는 기존 패턴을 LLM 자체 이력에 적용하면 stateless 에이전트를 autobiographical entity로 전환할 수 있다.