Hugging Face와 Axolotl이 Accelerate 라이브러리에 ND-Parallel 통합으로 여러 GPU 간 복합 병렬화 전략 조합을 설정 파일 몇 줄로 구현 가능하게 구축
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
Accelerate ND-Parallel: A guide to Efficient Multi-GPU Training
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate