Disaggregated Prefill과 Infire 엔진을 통한 LLM 인프라 최적화
Cloudflare Builds High-Performance Infrastructure for Running LLMs
100Tbps Ethernet Mesh 기반의 고효율 AI 서버 Galaxy Blackhole 출시
Tenstorrent’s Galaxy Blackhole AI servers escape the event horizon
PD Disaggregation 및 Infire 엔진 통한 Token Latency 3배 개선
Building the foundation for running extra-large language models
HuggingFace 팀이 Megatron-DeepSpeed 학습 모델을 Transformers로 포팅하고 Pipeline Parallelism + Accelerate + CUDA 커널 최적화로 BLOOM 모델 추론 지연시간 5배 단축 및 처리량 50배 증가
Optimization story: Bloom inference