Hugging Face BlogHuggingFace가 Megatron-DeepSpeed를 통한 3D 병렬화로 384개 A100 GPU에서 176B 파라미터 모델 176일 만에 3.5개월 완성The Technology Behind BLOOM TrainingAI/MLadvanced62 분 소요2022년 7월 14일