Local Gradient Accumulation을 통한 Training 속도 1.69배 향상
Local Gradient Accumulation Speeds Training 1.7
bf16 Grad Accumulator 정밀도 손실 해결로 배경 일관성 6% 향상
The bf16 grad accumulator that killed our SDXL LoRA training
Hugging Face Transformers 팀이 그래디언트 누적(Gradient Accumulation) 중 손실 계산 방식을 수정해 토큰 레벨 작업에서 수학적 동등성 보장
Fixing Gradient Accumulation
Hugging Face 팀이 DeDLOC 알고리즘으로 인터넷 연결된 40명의 자원봉사자 GPU를 활용해 벵골어 언어모델 sahajBERT를 학습시킨 대규모 분산 협업 훈련 성공 사례
Deep Learning over the Internet: Training Language Models Collaboratively