MoE 아키텍처와 효율적 훈련으로 달성한 95% 비용 절감
Why Chinese AI Models Are 95% Cheaper — The Economics Explained
bf16 Grad Accumulator 정밀도 손실 해결로 배경 일관성 6% 향상
The bf16 grad accumulator that killed our SDXL LoRA training
KV cache 90% 절감 및 1M 토큰 컨텍스트 구현한 MoE 아키텍처
DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
Hugging Face Accelerate가 FSDP의 정밀도 처리를 DeepSpeed와 일치하도록 수정해 두 프레임워크 간 학습 결과 편차 제거
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
Hugging Face가 Accelerate 라이브러리로 PyTorch 훈련 스크립트에 5줄의 코드만 추가해 분산 학습 및 혼합 정밀도 지원
Introducing 🤗 Accelerate