DSpark: Speculative decoding을 활용한 LLM 추론 가속화 [pdf]

Context

LLM 추론 시 토큰 생성 지연이 출력 길이에 비례하는 병목 현상을 해결하기 위해 Speculative Decoding 도입. 기존 Parallel Drafter는 낮은 지연 시간을 가지나 토큰 간 의존성 부재로 인한 Suffix Decay 및 수락률 급감 문제가 발생함.

Technical Solution

• Parallel Backbone과 Sequential Module을 결합한 Semi-Autoregressive 구조 설계로 블록 내 의존성 주입
• Low-rank decomposition을 적용한 Markov Head를 통해 연산 비용을 최소화하며 교차 모드 충돌 완화
• Confidence Head를 통한 위치별 접두부 생존 확률 추정 및 데이터 도메인별 수락률 변동 대응
• Hardware-Aware Prefix Scheduler 도입으로 엔진 처리량 곡선에 따라 검증 길이를 동적으로 조정
• Sequential Temperature Scaling(STS)을 통한 신경망 신뢰도 과신 문제 해결 및 ECE 최소화
• Target 모델 고정 상태에서 CE, TV, Confidence 세 가지 손실 함수 가중합을 통한 드래프트 모델 최적화