소비자용 GPU에서 Speculative Decoding이 무용지물인 이유

Context

소비자용 GPU 환경에서 LLM 추론 속도 향상을 위해 Speculative Decoding 도입을 검토. n-gram 기반의 토큰 예측과 병렬 검증을 통해 추론 속도를 2~3배 높이려는 시도. 실제 다양한 워크로드에서의 성능 개선 여부 검증이 필요했던 상황.

Technical Solution

• llama.cpp의 내장 n-gram Speculative Decoding 기능을 활용하여 별도 Draft Model 없이 룩업 테이블 방식의 토큰 예측 설계
• LLMKube Operator를 통해 InferenceService CRD의 extraArgs를 수정함으로써 런타임 설정 변경 및 Pod 재시작 자동화 구조
• Gemma 4 26B MoE 모델과 Qwen3-32B Dense 모델을 대상으로 n-gram-simple 및 n-gram-mod 전략 비교 테스트 수행
• 단순 반복 프롬프트가 아닌 코드 생성, API 설계 등 다양한 도메인의 프롬프트 세트를 구성하여 벤치마크 신뢰성 확보
• 메모리 대역폭(Memory Bandwidth)과 연산 능력(Compute)의 비율을 분석하여 하드웨어 제약 사항 식별
• MoE 모델 특유의 전문가 가중치 로딩 오버헤드가 배치 검증 단계에서 발생하는 성능 저하 원인 분석

Impact

• 동일 프롬프트 반복 테스트 시 최대 419.5 tok/s 기록 (Baseline 88.3 tok/s 대비 약 4.75배 향상)
• 다양한 실제 워크로드 적용 시 Gemma 4 MoE 모델의 중앙값 88.2 tok/s로 Baseline(88.3 tok/s) 대비 성능 개선 없음
• Qwen3-32B Dense 모델의 경우 Baseline 20.4 tok/s에서 n-gram-simple 적용 시 20.6 tok/s로 오차 범위 내 수치 기록

Key Takeaway

메모리 대역폭이 병목인 소비자용 GPU에서는 연산 여유분이 부족하여 Speculative Decoding의 이점이 상쇄됨. 벤치마크 수행 시 캐시 효과를 배제한 프롬프트 다양성 확보가 기술적 판단의 핵심임.