MTP 및 QAT 적용을 통한 Gemma-4 추론 속도 최대 66% 향상

Context

LLM 추론 단계에서 발생하는 Generation Bottleneck을 해결하기 위한 최적화 기법 비교 분석. 기본 모델의 낮은 토큰 생성 속도를 개선하여 실시간 서비스 가능 수준의 성능 확보가 필요함.

Technical Solution

• MTP(Multi-Token Prediction) 도입을 통한 단일 스텝당 다수 토큰 예측 구조 설계
• QAT(Quantization-Aware Training) 적용으로 양자화 과정에서의 정밀도 손실 최소화
• Q4_K_M 및 Q4_K_XL 양자화 포맷을 활용한 메모리 대역폭 효율화
• Prompt 처리와 Generation 단계를 분리하여 각 파이프라인의 Throughput 최적화
• 모델 가중치 최적화를 통한 Compute Bound 지점의 연산 효율 증대

Impact

• Generation 속도: 10.6 t/s(Without MTP) → 17.6 t/s(MTP + QAT)로 약 66% 향상
• Prompt 처리 속도: 21.0 t/s → 32.2 t/s로 약 53% 성능 개선
• FizzBuzz 테스트 기준 Generation 속도 9.2 t/s에서 11.3 t/s로 최적화

Key Takeaway

단순한 Post-Training Quantization보다 QAT와 MTP 같은 구조적 예측 최적화를 병행할 때 추론 성능의 비약적 상승 가능