Gemma 4 가속하기 : 다중 토큰 예측 drafter로 더 빠른 추론

Context

LLM 추론 시 발생하는 토큰 생성 병목과 높은 연산 비용 해결을 위해 추론 효율성 극대화가 요구됨. 기존 모델들은 정밀도를 위해 과도한 토큰을 소모하며 추론 속도가 저하되는 한계를 가짐.

Technical Solution

• Multi-Token Prediction(MTP) 구조를 통한 다음 토큰의 동시 예측 및 추론 속도 개선
• Hybrid Attention 메커니즘 적용으로 30B급 조밀 모델의 토큰 생성 속도 2배 향상
• Speculative Decoding 기법을 활용해 드래프트 모델의 예측값을 검증하는 고속 디코딩 파이프라인 구축
• VRAM 제약 해결을 위해 Multi-modal Projector를 시스템 RAM으로 분리하는 --no-mmproj-offload 설정 적용
• AWQ 4-bit 양자화와 MTP의 결합을 통한 메모리 대역폭 최적화 및 처리량 극대화

Impact

• Gemma 4 26B 모델 기준 AWQ 4-bit 양자화 적용 시 200TPS 초과 달성
• vLLM 및 RTX 5090 환경에서 MTP 추측 디코딩 활용 시 120~180TPS 구현
• 동일 지능 단위 대비 타 모델 대비 추론 시간 1/10 수준으로 단축
• 3060 GPU 환경에서 TurboQuant/Q4 적용 시 약 40T/s 속도 확보

Key Takeaway

단순 모델 크기 확장보다 Token Efficiency와 예측 정확도를 결합한 추론 아키텍처 설계가 실질적인 사용자 경험(Latency)을 결정하는 핵심 요소임.