피드로 돌아가기
Dev.toAI/ML
원문 읽기
Context Window와 Durable Memory 분리로 비용 최적화 및 장기 기억 유지
Your context window is not your agent's memory
AI 요약
Context
LLM의 Context Window 크기를 확장하여 모든 이력을 주입하는 단순 접근 방식의 한계 분석. 토큰 증가에 따른 비용 선형 증가와 'Lost in the Middle' 현상으로 인한 추론 품질 저하 및 세션 종료 시 데이터 휘발성 문제 발생.
Technical Solution
- Working Memory(Context Window)와 Durable Memory(Persistent Store)의 물리적/논리적 계층 분리 설계
- Context Window를 단기 작업용 Scratch Space로 정의하여 현재 목표와 필수 데이터만 유지하는 구조 채택
- Durable Store를 Markdown 기반의 정형 파일 시스템으로 구축하여 정체성, 선호도, 핵심 결정 사항을 영속적으로 관리
- Session Start 시점에 전체 Store가 아닌 One-line Index를 로드한 후 필요 시점에만 특정 엔트리를 Fetch하는 효율적 로딩 전략 구현
- 세션 중 학습된 중요 정보를 즉시 Durable Store에 기록하는 Persist 메커니즘을 통한 세션 간 연속성 확보
- Vector DB 대신 Grep 및 Diff가 가능한 Plain Text 파일을 사용해 Memory의 투명성과 디버깅 가능성 확보
실천 포인트
- 현재 Agent의 Memory 시스템이 세션 종료 후에도 데이터를 유지하는지 확인 - Context Window에 무분별하게 전체 이력을 주입하여 토큰 비용이 낭비되고 있는지 검토 - 중요 정보의 '추출-정제-저장'으로 이어지는 Persist 로직의 명시적 정의 여부 점검 - 대규모 컨텍스트 주입 시 핵심 정보의 Recall 성능 저하 여부를 테스트