단일 명령어로 vLLM 서버 구축 및 OpenAI API 호환 엔드포인트 확보
Run a vLLM Server on HF Jobs in One Command
NCCL Ring-AllReduce 통한 Multi-GPU 통신 병목 해결 및 LLM 학습 가속화
NCCL: The Hidden Engine Behind Multi-GPU LLM Training
llama.cpp Tensor Parallelism 도입으로 vLLM급 70t/s 성능 달성
llama.cpp b9455 Finally Caught vLLM: 70t/s on 2x3090 Qwen 27B UQ8
Disaggregated Prefill과 Infire 엔진을 통한 LLM 인프라 최적화
Cloudflare Builds High-Performance Infrastructure for Running LLMs
vLLM TPU 최적화를 통한 모델 크기별 HBM 효율 및 비용 극대화
vLLM on Google Cloud TPU: A Model Size vs Chip Cheat Sheet (With Interactive Tool)
Heterogeneous GPU 환경에서 MoE 모델과 Graph Splitting을 통한 추론 속도 3~4배 가속
Upgrading Kiwi-chan’s Brain: Pushing a 30GB "Frankenstein" GPU Rig to the Limit with Qwen 3.6-35B-A3B
100Tbps Ethernet Mesh 기반의 고효율 AI 서버 Galaxy Blackhole 출시
Tenstorrent’s Galaxy Blackhole AI servers escape the event horizon
PD Disaggregation 및 Infire 엔진 통한 Token Latency 3배 개선
Building the foundation for running extra-large language models
Meta EngineeringMeta가 AMD GPU 플랫폼용 RCCLX를 오픈소스화하며 Direct Data Access와 Low-Precision Collectives로 통신 레이턴시 10-50% 단축
RCCLX: Innovating GPU Communications on AMD Platforms
Hugging Face와 Axolotl이 Accelerate 라이브러리에 ND-Parallel 통합으로 여러 GPU 간 복합 병렬화 전략 조합을 설정 파일 몇 줄로 구현 가능하게 구축
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training