KV Cache 압축을 통한 70B 모델의 8GB RAM 구동 실현

Context

LLM 추론 시 Model Weight보다 KV Cache가 메모리 병목의 주원인으로 작용하는 구조적 한계 발생. 특히 Llama-3-70B 모델의 128K Context Window 처리 시 KV Cache에만 256GB RAM이 요구되는 리소스 불균형 문제 상존.

Technical Solution

• Per-position Adaptive Quantization 기법을 통한 실시간 KV Cache 압축 구조 설계
• 정적 양자화의 한계를 극복하기 위한 위치 기반 적응형 압축 로직 적용
• 메모리 사용량을 target_memory_gb 파라미터로 제어하는 래퍼(Wrapper) 기반의 메모리 관리 체계 구축
• 모델 가중치와 KV Cache의 메모리 점유율 격차를 해소하는 실시간 압축 파이프라인 구현

Impact

• KV Cache 메모리 사용량 4~6배 압축 달성
• Perplexity 증가율 1% 미만으로 유지하며 모델 성능 손실 최소화
• 296GB 요구 사양의 모델을 8GB RAM 환경에서 구동 가능한 하드웨어 제약 극복