TII가 Falcon-Arabic의 한계점을 분석해 Mamba-Transformer 하이브리드 아키텍처로 재설계하여 컨텍스트 윈도우를 32K에서 256K 토큰으로 확대
Introducing Falcon-H1-Arabic: Pushing the Boundaries of Arabic Language AI with Hybrid Architecture
mmBERT가 1800개 이상 언어에서 3T+ 토큰 학습 및 3단계 점진적 언어 추가 전략으로 XLM-R을 첫 번째로 성능 개선
mmBERT: ModernBERT goes Multilingual
Ettin Suite가 ModernBERT 레시피를 encoder/decoder 양 아키텍처에 동일하게 적용해 동일 데이터·구조·훈련 방식으로 SoTA 모델 쌍 구축
Ettin Suite: SoTA Paired Encoders and Decoders
HuggingFace가 SmolLM3 3B 모델의 아키텍처와 11.2T 토큰 학습 레시피를 공개해 Llama-3.2-3B, Qwen2.5-3B 대비 성능 우위 달성
SmolLM3: smol, multilingual, long-context reasoner
DeepSeek이 V3 기반 모델을 지속 사전학습 및 개선된 포스트트레이닝으로 벤치마크 점수 5.3~19.8점 상향
Open R1: Update #4
Answer.AI와 LightOn이 BERT의 아키텍처와 훈련 방식을 LLM 최신 기법으로 개선하여 ModernBERT 출시, 8192 시퀀스 길이와 기존 BERT 대비 향상된 다운스트림 성능 달성
Finally, a Replacement for BERT: Introducing ModernBERT
NVIDIA가 Megatron-LM 프레임워크로 대규모 언어모델 훈련을 위한 DataLoader 최적화 및 Fused CUDA Kernel 구현으로 GPU 훈련 속도 개선
How to train a Language Model with Megatron-LM
Hugging Face Transformers가 pyctcdecode 라이브러리를 통합하여 Wav2Vec2 음성인식 모델에 n-gram 언어모델을 결합한 디코딩 방식 제공으로 WER 30% 상대 성능 향상
Boosting Wav2Vec2 with n-grams in 🤗 Transformers
Hugging Face가 Transformers와 Tokenizers 라이브러리를 개선해 맨 처음부터 언어 모델을 학습하는 프로세스를 단순화
How to train a new language model from scratch using Transformers and Tokenizers