NVIDIA가 Megatron-LM 프레임워크로 대규모 언어모델 훈련을 위한 DataLoader 최적화 및 Fused CUDA Kernel 구현으로 GPU 훈련 속도 개선
How to train a Language Model with Megatron-LM
HuggingFace가 Megatron-DeepSpeed를 통한 3D 병렬화로 384개 A100 GPU에서 176B 파라미터 모델 176일 만에 3.5개월 완성
The Technology Behind BLOOM Training