Prefix Caching 도입 통한 Prefill 비용 최대 80% 절감 및 TTFT 최적화
Prefix caching at scale: when it saves you 80% of prefill cost, and the eviction policies that quietly turn it into 5%
Nemotron-Labs Diffusion 도입으로 LLM Throughput 6.4배 달성
Diffusion Language Models: How NVIDIA Nemotron-Labs Diffusion Shatters the Autoregressive Speed Ceiling
Speculative Decoding의 한계 돌파, DFlash로 구현한 병렬 토큰 생성
Speculative Decoding’s Ceiling Just Moved With DFlash
SGLang이 Hugging Face transformers를 백엔드로 통합해 네이티브 지원되지 않는 모델을 즉시 고성능 추론으로 실행 가능
Transformers backend integration in SGLang
Open R1 프로젝트가 512개 H100 GPU에서 SGLang을 도입해 생성 속도를 2배 향상시켜 800k개의 DeepSeek R1 추론 트레이스 생성
Open R1: Update #2