Hugging Face Accelerate가 FSDP의 정밀도 처리를 DeepSpeed와 일치하도록 수정해 두 프레임워크 간 학습 결과 편차 제거
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
Hugging Face의 Accelerate 라이브러리에 DeepSpeed ZeRO를 통합해 코드 변경 없이 배치 크기 8에서 40으로 5배 확대 및 학습 시간 3.5배 단축
Accelerate Large Model Training using DeepSpeed
Hugging Face Accelerate 라이브러리가 PyTorch FSDP를 통합하여 GPT-2 Large 모델에서 배치 크기를 DDP 대비 2~3배 증대 및 GPT-2 XL 모델 학습 가능
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel
Hugging Face가 ZeRO 메모리 최적화를 Transformers Trainer에 통합해 배치 크기 16에서 50으로 3배 증가 및 학습 시간 30.9초에서 20.9초로 32% 단축
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale