Local Gradient Accumulation을 통한 Training 속도 1.69배 향상
Local Gradient Accumulation Speeds Training 1.7
머신러닝 취업 면접 - 완벽 가이드
박사급 RS 오퍼 싹쓸이를 위한 ML 시스템 구현 및 인터뷰 최적화 전략
NCCL Ring-AllReduce 통한 Multi-GPU 통신 병목 해결 및 LLM 학습 가속화
NCCL: The Hidden Engine Behind Multi-GPU LLM Training
SemiAnalysis访谈Radiant的AIInfra主管PatrickWohlschlegel
Behind-the-meter 전력 확보를 통한 12개월 내 Gigawatt급 AI DC 구축
CS336: 처음부터 만드는 언어 모델링
Triton 기반 FlashAttention2 및 분산 학습으로 LLM Full-stack 구현
From Scratch 기반 LLM 풀스택 설계 및 GPU 최적화 구현
CS336: Language Modeling from Scratch
H100/B200 기반 고대역폭 네트워크 및 분산 스토리지 통합 설계
Building Blocks for Foundation Model Training and Inference on AWS
HPC Cluster 기반 Distributed Computing을 통한 AI 모델 학습 가속화
How HPC Clusters Accelerate AI/ML Training
WAN 환경에서 동기화 병목 제거로 학습 속도 20배 향상한 Decoupled DiLoCo
Decoupled DiLoCo: Resilient, Distributed AI Training at Scale
Production Scalability를 위한 TensorFlow의 계층적 ML 에코시스템 설계
TensorFlow Explained in Simple Language
eBPF 기반 Fan-out 쿼리로 Distributed Training Stall 원인 1초 내 식별
One Query, Four GPUs: Tracing a Distributed Training Stall Across Nodes
ML Tax 제거를 위한 Agentic ML 기반 자율형 워크플로우 전환
Agentic ML: Moving from Manual Pipelines to Autonomous AI
Snowflake AI Research가 Ulysses Sequence Parallelism으로 어텐션 헤드를 GPU 간 분산 처리하여 64K 토큰에서 3.7배 처리량 증가 달성
Ulysses Sequence Parallelism: Training with Million-Token Contexts
Transformers 라이브러리가 MoE 모델을 위한 무게 로딩 파이프라인과 분산 실행 모델을 재설계해 21B 파라미터 모델을 3.6B 활성 파라미터로 실행
Mixture of Experts (MoEs) in Transformers
Hugging Face가 datasets 라이브러리의 스트리밍 백엔드를 재설계해 초기 요청을 100배 감소, 데이터 파일 해석 시간을 10배 단축, 처리 속도를 2배 향상
Streaming datasets: 100x More Efficient
Hugging Face와 Axolotl이 Accelerate 라이브러리에 ND-Parallel 통합으로 여러 GPU 간 복합 병렬화 전략 조합을 설정 파일 몇 줄로 구현 가능하게 구축
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
TRL이 vLLM을 분리된 서버 대신 같은 GPU에서 공동 실행하도록 변경해 GRPO 학습 중 유휴 GPU 시간 제거
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL
ServiceNow Research가 LLM 강화학습에서 인플라이트 가중치 업데이트 도입으로 추론 처리량과 정책 기반 데이터 수집 간 트레이드오프 해결
PipelineRL
Hugging Face가 Accelerate를 1.0 정식 버전으로 출시하며 6개 하드웨어 가속기 지원 및 안정화된 다중 GPU/TPU 훈련 API 제공
Accelerate 1.0.0
Intel과 MILA가 ProtST 단백질 언어 모델을 Intel Gaudi 2에 최적화하여 추론 1.76배, 파인튜닝 2.92배 속도 향상 달성
Accelerating Protein Language Model ProtST on Intel Gaudi 2