Context Rot 해결을 통한 LLM Agent 추론 성능 및 Instruction 준수율 최적화

Context

LLM Context Window를 단순 로그 파일로 취급하여 대화 이력이 누적됨에 따라 발생하는 성능 저하 현상인 Context Rot 발생. Transformer의 Attention 메커니즘 특성상 중간 토큰의 정보 손실(Lost in the Middle)과 이전 대화 데이터에 의한 Instruction 희석으로 인해 모델의 정밀도가 하락하는 구조적 한계 존재.

Technical Solution

• Sliding Window와 Summary 결합을 통한 고밀도 Working Memory 구조 설계
• 최신 N개의 대화는 Verbatim으로 유지하여 자연스러운 흐름을 보장하고 이전 이력은 LLM을 이용해 핵심 결정사항 위주로 압축
• 압축된 Summary를 대화 초반에 Synthetic Assistant Message 형태로 주입하여 모델의 Attention 앵커링 유도
• 정기적인 State Extraction을 통해 휘발성 대화 내용과 영속적 상태 정보를 분리하여 관리
• 중요 Instruction을 메시지 전송 직전 단계에서 Re-anchor하여 Instruction Dilution 방지
• 가벼운 모델(Claude Haiku 등)을 Context Compression 전용으로 활용하여 비용 및 레이턴시 최적화