Token Sequence 길이 최적화로 Compute Cost 3배 절감
OlmoEarth v1.1: A more efficient family of models
LLM 성능 고도화를 위한 Pre-Training 기반 Next Token Prediction 구조 분석
Understanding Reinforcement Learning with Human Feedback Part 1: Pre-Training Large Language Models
WAN 환경에서 동기화 병목 제거로 학습 속도 20배 향상한 Decoupled DiLoCo
Decoupled DiLoCo: Resilient, Distributed AI Training at Scale
Microsoft Research Asia가 단일 Transformer 인코더-디코더 아키텍처에 pre-net/post-net을 추가하여 음성-텍스트 변환(ASR, TTS), 음성-음성 변환을 하나의 모델으로 수행 가능하게 구현
Speech Synthesis, Recognition, and More With SpeechT5
Hugging Face Transformers와 Habana Gaudi를 활용해 BERT 사전학습 비용을 $2,075 대비 $1,650으로 25% 절감
Pre-Train BERT with Hugging Face Transformers and Habana Gaudi