KV 캐시 6배 압축, Google TurboQuant의 고효율 추론 전략

Context

LLM 추론 시 문맥 유지를 위한 KV 캐시의 메모리 점유율 급증. 모델 크기보다 더 많은 메모리를 소비하는 KV 캐시의 구조적 한계. 고정밀도(16-bit) 저장 방식으로 인한 DRAM 비용 부담 증가.

Technical Solution

• KV 캐시 데이터를 고정밀도에서 저정밀도로 변환하는 Quantization 기법 적용
• 벡터의 크기와 방향을 Cartesian 좌표계 대신 원형 그리드에 매핑하는 PolarQuant 방식 도입
• 공통 참조점 사용을 통한 데이터 정규화 과정의 메모리 오버헤드 제거
• QJL(Quantized Johnson-Lindenstrauss) 알고리즘을 결합하여 양자화 과정의 오차 보정
• Attention Score의 정확도를 유지하면서 저장 공간을 최소화하는 하이브리드 압축 설계
• KV 캐시뿐 아니라 검색 엔진용 Vector Database까지 확장 가능한 범용 구조

Impact

• KV 캐시 메모리 소비량 최소 6배 감소
• H100 GPU 기준 Attention Logits 계산 속도 최대 8배 향상
• BF16 수준의 품질을 유지하며 3.5-bit 정밀도 달성
• 최소 품질 손실 범위 내에서 2.5-bit까지 압축 가능

Key Takeaway

데이터의 표현 체계를 변경(Cartesian → Polar)함으로써 단순 정밀도 저하를 넘어선 효율적인 메모리 최적화 가능. 하드웨어 자원 절감이 오히려 더 큰 컨텍스트 윈도우라는 새로운 서비스 요구사항을 촉발하는 기술적 역설 확인.