Hugging Face Accelerate가 FSDP의 정밀도 처리를 DeepSpeed와 일치하도록 수정해 두 프레임워크 간 학습 결과 편차 제거
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
Hugging Face가 Accelerate 라이브러리로 PyTorch 훈련 스크립트에 5줄의 코드만 추가해 분산 학습 및 혼합 정밀도 지원
Introducing 🤗 Accelerate