35K 토큰의 반복 입력 해결, Knowledge Graph 기반의 개인형 AI 메모리 설계

Context

사용자가 매 세션마다 35,000 토큰 분량의 개인 정보를 수동으로 복사하여 입력하는 구조. 컨텍스트 설정 비용 발생으로 인한 사용자 경험 저하. 단순 채팅 기록을 넘어선 연속적인 개인 지식 저장소의 부재.

Technical Solution

• Notion 페이지의 정적 텍스트를 Neo4j Knowledge Graph로 대체하여 엔티티와 관계 중심의 동적 메모리 구조 설계
• 대화 중 백그라운드에서 정보를 추출하여 그래프에 반영하는 'Sleep Cycle' 파이프라인 구축
• 시스템 컨텍스트 과부하 방지를 위해 프롬프트를 30K 토큰으로 제한하고 필요한 정보만 호출하는 Waterfill 기반 GraphRAG 알고리즘 도입
• MCP(Model Context Protocol)를 활용해 Notion과 Knowledge Graph 간의 양방향 동기화 및 사용자 수정 인터페이스 구현
• 단일 메모리 그래프를 공유하되 ACT, DBT 등 서로 다른 심리 치료 프레임워크를 적용한 3종의 페르소나 레이어 분리

Impact

• 초기 수동 입력 프롬프트 35,000 토큰을 그래프 기반의 10,000 토큰 수준으로 효율화
• 무분별한 확장으로 120,000 토큰까지 증가했던 시스템 컨텍스트를 30,000 토큰 이내로 최적화

Key Takeaway

사용자 경험(UX)과 기술적 정교함의 괴리를 해결하기 위해 익숙한 인터페이스(Notion)를 제어판으로 활용하는 하이브리드 설계 전략의 중요성.