피드로 돌아가기
Dev.toAI/ML
원문 읽기
TurboQuant은 KV 캐시의 숫자를 구조화된 scale과 code로 변환하여 메모리 사용량을 6배 절감하면서도 attention 순서를 보존한다.
How TurboQuant Works for LLMs and Why It Uses Much Less RAM
AI 요약
Context
LLM은 텍스트 토큰을 수천 개의 숫자로 구성된 벡터로 변환하여 고차원 공간에서 의미를 표현한다. 각 토큰은 모델 통과 시마다 key-value 쌍을 생성하며, 이 KV 캐시가 누적되어 대화당 약 1GB의 메모리를 점유한다.
Technical Solution
- KV 캐시 → scale 계수와 정수 code로 분해하여 저장
- 각 숫자를 완전 재구성 대신 근사값으로 복원
- attention 계산의 핵심인 dot product에서 순서 보존에 집중
- 시스템 오차를 보정하는 경량 단계를 추가
- 저장 공간당 표현 범위를 확장하는 구조 활용
Impact
KV 캐시 메모리 사용량이 1GB에서 150~200MB로 감소한다. 더 긴 context window 지원과 GPU당 더 많은 동시 사용자 서비스가 가능해진다.
Key Takeaway
정밀한 수치 재구성보다 벡터 간 관계와 순서를 보존하는 것이 LLM 동작 유지에 더 중요하다. 완전 정확성보다 구조 보존이 핵심 설계 원칙이다.
실천 포인트
대규모 LLM 서비스에서 attention 기반 모델 동작을 유지하면서 KV 캐시 메모리를 절감하려면 scale-code 구조의 양자화를 적용하여 관계 정보를 보존해야 한다.