Pipelined Decoding으로 GPU Bubble 제거, B200 기준 성능 최대 34% 향상
Popping the GPU Bubble
Autoregressive Loop와 Causal Masking을 통한 LLM 텍스트 생성 메커니즘 분석
How Transformer Decoders Generate Text — From Causal Masking to Decoding
Transformer 탈피, Learned Geometry 기반 Latent Motion 언어 생성 모델 구현
Introducing DRM Language Emitter: Language Generation as Motion Through Learned Geometry
단일 Checkpoint로 6.4배 Throughput 향상을 구현한 Nemotron Diffusion
NVIDIA's Nemotron Diffusion: One Model, Three Generation Modes, 6 Faster
Self-speculation 기반 6.4배 TPF 향상 및 무손실 텍스트 생성 구현
Towards Speed-of-Light Text Generation with Nemotron-Labs Diffusion Language Models
DreamZero의 Causal 제어와 Motus의 Bidirectional 통합 생성 아키텍처 비교 분석
DreamZero vs Motus
3,000억 개의 Token 기반 Next Token Prediction을 통한 범용 언어 모델 구현
82. GPT: The Art of Predicting the Next Word
10M 파라미터 GPT 모델을 노트북 환경에서 1시간 내 구현
Train Your Own LLM from Scratch
KV Caching과 MMHA 구조를 통한 Decoder-only LLM 추론 최적화
LLM Study Diary #1: Transformer