Diffusion 기술 도입으로 로컬 텍스트 생성 속도 최대 4배 향상

Context

기존 Autoregressive LLM의 토큰 순차 생성 방식에 따른 Memory Bandwidth 병목 현상 발생. 특히 리소스가 제한된 Consumer Hardware 환경에서 VRAM 대역폭 한계로 인한 추론 성능 저하 문제 직면.

Technical Solution

• Autoregressive 방식 대신 Image Generation의 Diffusion 메커니즘을 텍스트 생성에 이식한 설계
• Random Token Canvas를 생성한 후 반복적인 Denoising 과정을 통해 전체 문단을 동시에 정제하는 구조 채택
• Memory-bandwidth bound 워크로드를 Compute-bound 워크로드로 전환하여 GPU 연산 자원 활용도 극대화
• 26B Parameter 규모의 Mixture of Experts (MoE) 구조를 적용하여 모델 효율성 확보
• vLLM, MLX, HF Transformers 등 주요 Inference Engine과의 통합을 통한 배포 최적화

Impact

• Single Nvidia H100 기준, Gemma 4 26B-A4B 대비 출력 속도 약 4배 향상
• Speculative Decoding을 적용한 12B LLM 대비 약 2.25배의 속도 개선 달성
• 18 GB DRAM/VRAM 수준의 보급형 하드웨어에서도 실행 가능한 최적화 구현