Hugging Face BlogAnswer.AI와 LightOn이 BERT의 아키텍처와 훈련 방식을 LLM 최신 기법으로 개선하여 ModernBERT 출시, 8192 시퀀스 길이와 기존 BERT 대비 향상된 다운스트림 성능 달성Finally, a Replacement for BERT: Introducing ModernBERTAI/MLintermediate58 분 소요2024년 12월 19일