Token 비용 91% 절감, 3단계 계층 구조의 LLM 기억 저장소 설계

Context

LLM Agent의 제한된 Context Window로 인한 정보 손실 발생. 세션 종료 시 모든 상태가 초기화되는 휘발성 메모리 구조. 반복적인 API 키 요청 및 이전 대화 맥락 망각으로 인한 사용자 경험 저하.

Technical Solution

• Token 폭증과 정보 손실 사이의 트레이드오프를 해결하는 3계층 점진적 검색(Progressive Layered Retrieval) 아키텍처 설계
• L0 계층에서 100-Token 요약본을 통한 빠른 1차 필터링 수행
• L1 계층에서 2,000-Token 개요를 통해 검색 정밀도 향상
• 최종 단계에서 실제 필요한 전체 컨텐츠만 로드하여 불필요한 Token 소모 원천 차단
• Rust 기반 구현으로 시스템 성능과 안정성 확보
• Qdrant 벡터 데이터베이스를 활용한 고성능 시맨틱 검색 인프라 구축
• 다중 테넌트 격리(Multi-Tenant Isolation) 구조를 통한 프로젝트별 독립적 메모리 공간 제공

Impact

• LoCoMo 벤치마크 점수 68.42% 달성 (OpenViking 52.08% 대비 우세)
• OpenClaw+LanceDB 조합 대비 Token 소비량 91% 절감
• 1,000 Token당 점수 효율성 18배 향상

Key Takeaway

모든 데이터를 로드하거나 단순 요약하는 극단적 선택 대신, 계층적 추상화 단계를 거쳐 데이터 정밀도를 제어하는 것이 LLM 비용 최적화의 핵심 설계 원칙임.