Self-speculation 기반 6.4배 TPF 향상 및 무손실 텍스트 생성 구현
Towards Speed-of-Light Text Generation with Nemotron-Labs Diffusion Language Models
KV Caching 및 GQA 도입을 통한 LLM 추론 병목 해결 및 VRAM 최적화
How to Optimize LLM Inference with KV Caching
KV Caching과 MMHA 구조를 통한 Decoder-only LLM 추론 최적화
LLM Study Diary #1: Transformer
Intel Gaudi에서 Speculative Sampling 기반 Assisted Generation을 구현해 텍스트 생성 속도 약 2배 향상
Faster assisted generation support for Intel Gaudi