LLM Context Window 오염 방지를 위한 Edge Storage 기반 Context 외재화 설계

I built a tool to stop Claude from forgetting everything then forgot about it myself

Daniel Nwaneri2026년 6월 3일14분intermediate

AI 요약

Context

LLM 세션 지속 시 대량의 raw output이 Context Window를 점유하여 핵심 설계 결정 사항이 밀려나는 Context Drift 현상 발생. 특히 Claude Code의 Auto-compaction 과정에서 세부 정보가 공격적으로 요약되어 추론의 근거가 되는 데이터가 유실되는 한계 존재.

Technical Solution

MCP(Model Context Protocol) 서버 기반의 edge-context-mode를 통해 raw output의 직접 유입을 차단하는 Interceptor 구조 설계
Cloudflare D1 및 Durable Objects를 활용하여 대량의 출력 데이터를 Edge 영역에 저장하고 LLM에는 Reference Token과 50단어 내외의 요약본만 전달하는 외재화 전략 채택
D1의 FTS5(Full-Text Search)를 통한 BM25 키워드 매칭과 vectorize-mcp-worker를 통한 Semantic Vector Search를 결합한 Hybrid Search 레이어 구축
ctx_execute 및 ctx_annotate 도구를 통해 세션 데이터를 외부 저장소에 기록함으로써 LLM 내부의 Compaction 프로세스로부터 데이터 생존성 확보
JSONL 파일 기반의 세션 로그를 D1으로 벌크 로드하는 Retroactive Context 복구 메커니즘 설계로 과거 컨텍스트 유실 문제 해결

실천 포인트

- LLM 컨텍스트 설계 시 '입력 데이터의 양'보다 '데이터의 밀도'를 높이기 위한 필터링 레이어 검토 - 중요도가 낮은 대량의 데이터는 Reference Token 방식으로 외재화하고 필요 시에만 Retrieval 하는 패턴 적용 - 자동 요약(Compaction)으로 인한 정보 손실을 방지하기 위해 불변의 외부 저장소(Source of Truth) 구축

태그

#Context Window #Edge Computing #Hybrid Search #MCP #Durable Objects

원문 읽기