Gemma 4 MTP 도입, 구조적 데이터 처리 속도 18% 향상
What Gemma 4's multi-token prediction head actually means for your eval pipeline
소비자용 GPU에서 Speculative Decoding이 무용지물인 이유
I tested speculative decoding on my home GPU cluster. Here's why it didn't help.
Intel과 Qwen이 Depth-Pruned Draft Model과 Speculative Decoding을 결합해 Qwen3-8B 에이전트 추론 속도를 1.4배 향상
Accelerating Qwen3-8B Agent on Intel® Core™ Ultra with Depth-Pruned Draft Models
Intel Labs와 Hugging Face가 동적 추측 디코딩으로 LLM 텍스트 생성 속도 최대 2.7배 가속화
Faster Assisted Generation with Dynamic Speculation
Hugging Face Inference Endpoints에서 커스텀 핸들러를 통해 Whisper ASR, Pyannote 기반 화자 식별, 추론 가속화를 단일 API로 통합 제공
Powerful ASR + diarization + speculative decoding with Hugging Face Inference Endpoints
Intel이 Optimum Intel을 통해 StarCoder 15B 모델에 INT8/INT4 양자화와 Speculative Decoding을 적용해 Xeon에서 7배 이상의 추론 가속 달성
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Hugging Face가 Speculative Decoding을 OpenAI Whisper에 적용해 추론 속도 2배 향상과 동일한 정확도 유지
Speculative Decoding for 2x Faster Whisper Inference