Q-K=V Weight Tying을 통한 KV Cache 최대 96.9% 절감 및 추론 효율 극대화

Context

표준 Transformer 아키텍처의 QKV Projections가 차지하는 메모리 오버헤드와 연산 비용 발생. 특히 LLM 추론 시 KV Cache 크기가 메모리 병목의 핵심 원인으로 작용하는 한계점 존재.

Technical Solution

• Q-K=V, Q=K-V, Q=K=V의 세 가지 Projection Sharing 제약 조건을 통한 파라미터 공유 구조 설계
• Key와 Value의 유사한 표현 공간(Representational Space) 활용을 통한 Q-K=V 구조의 품질 유지 전략 채택
• Attention의 Low-rank 특성을 활용하여 가중치 공유 시 발생하는 정보 손실 최소화
• Attention Directionality 훼손 문제를 해결하기 위한 2D Positional Encoding 기반의 Asymmetric Attention 탐색
• GQA 및 MQA와 같은 Head Sharing 기법과의 상호 보완적 결합을 통한 메모리 최적화 설계

Impact

• Q-K=V 적용 시 Perplexity 3.1% 저하 수준으로 KV Cache 50% 감소 달성
• Q-K=V와 GQA-4 결합을 통한 KV Cache 87.5% 절감 확인
• Q-K=V와 MQA 결합 시 KV Cache 96.9% 절감으로 On-device Inference 가능성 확보

Key Takeaway

Attention 메커니즘의 가중치 공유(Weight Tying)가 모델 성능 유지와 메모리 효율성 사이의 최적 Trade-off 지점을 제공함. 특히 Key와 Value의 중복성을 제거하는 설계가 Edge Deployment 환경의 결정적 최적화 방안임.