Context Rot 해결을 위한 Multi-channel Retrieval 기반 Managed Memory 설계

Context

Context Window 확장에도 불구하고 토큰 증가에 따라 출력 품질이 저하되는 Context Rot 현상이 발생함. 단순한 전체 데이터 주입 방식은 품질 저하와 정보 손실 사이의 Trade-off를 유발하여 효율적인 Memory 관리 체계가 요구됨.

Technical Solution

• SHA-256 ID 부여를 통한 Idempotent Re-ingestion 구조 설계로 데이터 중복 처리
• 10K 문자 단위 Broad Pass와 구체적 값 중심 Detail Pass의 Parallel Extraction으로 정보 밀도 최적화
• 8단계 Verification 후 Facts, Events, Instructions, Tasks의 4종 분류 및 Topic 기반 정규화 저장
• Full-text, Fact-key, Vector, HyDE 등 5개 채널의 병렬 검색 결과를 Reciprocal Rank Fusion(RRF)으로 통합
• Llama 4 Scout(17B MoE)를 통한 추출 및 Nemotron 3(120B MoE)를 활용한 Synthesis 단계의 모델 분리 최적화
• Durable Objects 및 Vectorize 통합을 통한 Edge 기반의 Shared Memory Profile 아키텍처 구현