Gemma 4 MTP 도입, 구조적 데이터 처리 속도 18% 향상

Context

표준 autoregressive 방식의 토큰 단위 예측 구조. 추론 시 발생하는 높은 연산 비용과 낮은 처리량 문제. 벤치마크 수치와 실제 프로덕션 환경 간의 성능 괴리 발생.

Technical Solution

• 학습 단계에서 미래의 여러 토큰을 동시에 예측하는 MTP head를 보조 손실 함수로 추가 설계
• 모델 내부 표현력이 향후 여러 토큰을 예측할 수 있도록 강제하는 학습 전략 채택
• 추론 시 MTP head를 Draft 모델로 활용하여 후보 토큰 시퀀스를 미리 생성하는 speculative decoding 적용
• 메인 모델이 생성된 후보군을 한 번에 검증하여 수용률을 높이는 검증 루프 최적화
• 코드 생성 및 JSON 추출과 같은 구조적 데이터의 높은 예측 가능성을 활용한 처리량 가속화

Impact

• Structured extraction 작업 시 throughput 847 TPS에서 1001 TPS로 약 18% 향상
• Open-ended summarization 작업 시 throughput 612 TPS에서 679 TPS로 약 11% 향상

Key Takeaway

모델의 추론 가속화 효율은 출력 데이터의 엔트로피와 구조적 예측 가능성에 따라 결정됨. 처리량 최적화 시 품질 지표의 퇴보 여부를 반드시 분리하여 검증하는 파이프라인 설계가 필수적임.