Speculative Decoding을 통한 LLM 추론 속도 최대 4배 향상 및 품질 유지

Context

LLM의 Auto-regressive 특성으로 인한 Token-by-token 생성 방식의 구조적 한계 존재. 70B 파라미터 모델 기준 단일 Forward pass에 약 50ms가 소요되어 전체 응답 지연 시간이 증가하는 병목 현상 발생.

Technical Solution

• 생성 비용의 불균형을 이용한 Draft model(7B)과 Target model(70B)의 역할 분리 설계
• Draft model이 저비용으로 여러 개의 토큰을 미리 예측하여 시퀀스를 빠르게 생성하는 전략 채택
• Target model이 예측된 전체 시퀀스를 단 한 번의 Forward pass로 병렬 검증하는 Verification 로직 구현
• Target model의 예측값과 Draft model의 결과가 일치하는 지점까지 토큰을 일괄 수락하여 처리 효율 극대화
• 불일치 발생 시 해당 지점 이후의 토큰을 즉시 폐기하고 Target model의 확률 분포로 정확한 토큰을 대체 생성
• 수학적 증명을 통해 최종 출력 분포를 Target model 단독 실행 시와 동일하게 유지하는 Zero Quality Loss 보장

Impact

• 70B 모델 기준 200개 토큰 생성 시 기존 8~10초에서 2~4초로 지연 시간 단축
• Target model의 단일 Forward pass당 처리 토큰 수를 1개에서 최대 4개 이상으로 확장하여 처리 속도 향상