Gemma 4 MoE + N-Gram 도입으로 TTFT 2.5배 개선 및 47.5만 TPS 달성
Gemma4 Speculative Decoding with n-gram
HBM 읽기 비용 최적화를 통한 LLM 추론 비용 및 속도 결정 구조 분석
Why does paying more make your LLM reply faster?
H100/B200 기반 고대역폭 네트워크 및 분산 스토리지 통합 설계
Building Blocks for Foundation Model Training and Inference on AWS
DRAM 공급 부족에 따른 AMD의 제품 믹스 최적화 및 Commercial 전환 전략
DRAM drought to dog AMD's chips this year
Memory Shortage로 인한 On-premises 한계와 Cloud Migration 가속화
AWS says acute server memory shortage is driving customers to the cloud
vLLM TPU 최적화를 통한 모델 크기별 HBM 효율 및 비용 극대화
vLLM on Google Cloud TPU: A Model Size vs Chip Cheat Sheet (With Interactive Tool)
미국 내 HBM 공급망 구축을 통한 40억 달러 규모 패키징 인프라 확장
SK Hynix’s aspirations for ’Merica-made HBM inch closer to reality
RAM 부족 사태, 몇년간 지속될 수 있음
HBM 우선 배정과 Jevons Paradox로 인한 RAM 공급난 및 최적화 필요성