AI 에이전트 비용 최적화를 위한 3단계 Cost-Compression 레이어 구조 정립

Context

LLM 추론 비용 상승에 따른 에이전트 런타임 비용 최적화 필요성 증대. 단순 모델 교체를 넘어 입력값, 서빙 인프라, 비용 가시성 전반을 아우르는 체계적인 비용 압축 계층의 부재가 병목 지점으로 작용.

Technical Solution

• Cost Observability 확보를 통한 데이터 기반 최적화 지점 식별
• Tool Output, Log, RAG Chunk 등 모델 입력 전 단계에서 Token을 사전 압축하는 Input Compression 적용
• vLLM의 Native Backend로 KVarN을 통합하여 KV-cache Quantization을 통한 서빙 효율 극대화
• Config Swap 방식의 플러그인 구조를 채택하여 기존 vLLM 인프라의 포크 없는 신속한 교체 구현
• Measure-Compress-Swap으로 이어지는 순차적 최적화 파이프라인 설계