Context Compression으로 토큰 사용량 최대 92% 절감한 Headroom 아키텍처

Context

AI Coding Agent의 잦은 토큰 전송으로 인한 고비용 구조 발생. 대규모 로그 덤프, RAG 청크, 파일 내용 등 불필요한 노이즈가 LLM 입력 컨텍스트를 점유하며 비용 증가와 효율 저하를 초래함.

Technical Solution

• Agent와 LLM 사이에 Context Compression Layer를 배치하여 입력 데이터 전처리
• SmartCrusher를 통한 JSON 및 중첩 객체 구조 최적화
• AST-aware 기반의 CodeCompressor를 적용하여 다국어 코드 구조의 효율적 압축
• Agentic Trace 학습 모델인 Kompress-base를 활용한 자연어 및 혼합 콘텐츠 압축
• CacheAligner를 통한 Prompt Prefix 안정화로 KV Cache Hit Rate 극대화
• CCR(Reversible Compression) 설계를 통해 원본 데이터를 로컬 캐싱하여 LLM의 온디맨드 복구 가능성 확보

Impact

• SRE Incident Debugging: 65,694 → 5,118 토큰 (92% 감소)
• Code Search: 17,765 → 1,408 토큰 (92% 감소)
• GitHub Issue Triage: 54,174 → 14,761 토큰 (73% 감소)
• Codebase Exploration: 78,502 → 41,254 토큰 (47% 감소)
• GSM8K, TruthfulQA 등 벤치마크 정확도 유지 및 일부 개선

Key Takeaway

LLM의 추론 능력은 유지하면서 입력 신호의 밀도를 높이는 전처리 계층(Middleware) 설계의 중요성. 데이터 특성(JSON, Code, Prose)에 따른 전용 압축 전략 분리 및 가역적 압축 구조를 통한 정보 손실 방지 전략의 유효성 입증.