Hugging Face BlogHugging Face Transformers 팀이 그래디언트 누적(Gradient Accumulation) 중 손실 계산 방식을 수정해 토큰 레벨 작업에서 수학적 동등성 보장Fixing Gradient AccumulationAI/MLintermediate10 분 소요2024년 10월 16일
Hugging Face BlogHugging Face 팀이 DeDLOC 알고리즘으로 인터넷 연결된 40명의 자원봉사자 GPU를 활용해 벵골어 언어모델 sahajBERT를 학습시킨 대규모 분산 협업 훈련 성공 사례Deep Learning over the Internet: Training Language Models CollaborativelyAI/MLadvanced39 분 소요2021년 7월 15일