Snowflake AI Research가 Ulysses Sequence Parallelism으로 어텐션 헤드를 GPU 간 분산 처리하여 64K 토큰에서 3.7배 처리량 증가 달성
Ulysses Sequence Parallelism: Training with Million-Token Contexts
Hugging Face Accelerate가 FSDP의 정밀도 처리를 DeepSpeed와 일치하도록 수정해 두 프레임워크 간 학습 결과 편차 제거
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
Habana Labs가 Gaudi2 가속기와 Optimum Habana 라이브러리를 통해 176억 파라미터 BLOOMZ 모델의 추론 지연시간을 Nvidia A100 80GB 대비 1.42배 단축
Fast Inference on Large Language Models: BLOOMZ on Habana Gaudi2 Accelerator
Hugging Face와 Microsoft가 Optimum + ONNX Runtime 통합으로 트랜스포머 모델 학습 속도를 39~130% 가속화
Optimum+ONNX Runtime - Easier, Faster training for your Hugging Face models
HuggingFace가 DeepSpeed와 Accelerate를 활용해 176B 파라미터 BLOOM 모델의 토큰 생성 처리량을 0.69msec/토큰까지 단축
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
HuggingFace가 Megatron-DeepSpeed를 통한 3D 병렬화로 384개 A100 GPU에서 176B 파라미터 모델 176일 만에 3.5개월 완성
The Technology Behind BLOOM Training
Hugging Face의 Accelerate 라이브러리에 DeepSpeed ZeRO를 통합해 코드 변경 없이 배치 크기 8에서 40으로 5배 확대 및 학습 시간 3.5배 단축
Accelerate Large Model Training using DeepSpeed
Hugging Face가 ZeRO 메모리 최적화를 Transformers Trainer에 통합해 배치 크기 16에서 50으로 3배 증가 및 학습 시간 30.9초에서 20.9초로 32% 단축
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale