Context Rot 해결을 위한 토큰 버짓 기반의 Upstream Context 최적화 설계

Context

LLM의 Transformer 아키텍처 특성상 입력 토큰 증가에 따라 Attention 가중치가 분산되는 Context Rot 현상 발생. 특히 Coding Agent는 누적되는 파일 읽기 및 Tool Call 결과로 인해 신호 대비 잡음비(SNR)가 급격히 저하되는 구조적 한계를 가짐.

Technical Solution

• Lost-in-the-Middle 현상 억제를 위해 컨텍스트 중앙부의 정보 소실을 방지하는 데이터 배치 전략 수립
• 단순한 세션 내 정리가 아닌, 세션 시작 전 최적의 컨텍스트를 구성하는 Upstream Filtering 아키텍처 도입
• Notion, Git, 로컬 파일에서 필요한 정보만 추출하여 토큰 버짓 3,000개 이하로 제한하는 Token Budgeting 적용
• LLM이 구조적으로 인식하기 용이한 XML 기반의 정형화된 Context Block 구성
• 관련성 낮은 데이터의 선제적 제거를 통한 Baseline Signal-to-Noise Ratio 극대화
• 단순 전체 문서 입력 방식에서 핵심 엑셉트(Excerpt) 추출 방식으로의 데이터 로드 전략 변경