Hugging Face BlogHuggingFace가 DeepSpeed와 Accelerate를 활용해 176B 파라미터 BLOOM 모델의 토큰 생성 처리량을 0.69msec/토큰까지 단축Incredibly Fast BLOOM Inference with DeepSpeed and AccelerateBackendadvanced24 분 소요2022년 9월 16일