3단계 계층적 압축 전략을 통한 Agent Context 무한 확장 구현

Context

에이전트의 Tool 사용 횟수 증가에 따른 Message Array의 급격한 팽창으로 API Context Window 한계 도달 및 응답 품질 저하 발생. 특히 대규모 파일 읽기 시 1회 호출당 최대 4,000 Tokens가 소비되어 세션 지속 가능성이 제약되는 병목 지점 확인.

Technical Solution

• Micro-compact: 매 API 호출 전 최신 3개를 제외한 이전 Tool Result를 Placeholder로 대체하여 토큰 낭비 방지
• Auto-compact: 전체 토큰 수 50,000개 도달 시 LLM 기반 요약을 수행하고 기존 대화 이력을 JSONL 파일로 아카이빙하는 자동 메모리 정리
• Compact Tool: 모델이 스스로 판단하여 특정 Focus 파라미터를 통해 필요한 정보만 보존하는 명시적 압축 제어 권한 부여
• Hybrid Storage: Active Context는 요약본으로 유지하고 Full Transcript는 디스크에 저장하여 정보 손실 리스크 최소화
• Adaptive Filtering: 100자 미만의 짧은 콘텐츠는 압축 대상에서 제외하여 불필요한 연산 오버헤드 제거