KV Cache 최적화를 통한 1.3TB OOM 위험 제거 및 메모리 효율 8배 개선
KV Cache Is Eating Your VRAM — Here's How to Estimate It Before You Run Out
1,200줄의 Python으로 분석한 vLLM 핵심 추론 아키텍처
I built an interactive 11-chapter guide to how LLM inference actually works
TPU의 저비용 고효율을 가로막는 Static Shape 제약과 아키텍처 비용 분석
Why TPUs Aren't Popular (Even Though They're Cheaper Per Token)
KV Caching 및 GQA 도입을 통한 LLM 추론 병목 해결 및 VRAM 최적화
How to Optimize LLM Inference with KV Caching
vLLM TPU 최적화를 통한 모델 크기별 HBM 효율 및 비용 극대화
vLLM on Google Cloud TPU: A Model Size vs Chip Cheat Sheet (With Interactive Tool)
$800 소비자 GPU 환경의 Qwen3.6-27B 서빙 최적화 분석
We ran Qwen3.6-27B on $800 of consumer GPUs, day one: llama.cpp vs vLLM