#encoder-only

Answer.AI와 LightOn이 BERT의 아키텍처와 훈련 방식을 LLM 최신 기법으로 개선하여 ModernBERT 출시, 8192 시퀀스 길이와 기존 BERT 대비 향상된 다운스트림 성능 달성

Finally, a Replacement for BERT: Introducing ModernBERT