mmBERT가 1800개 이상 언어에서 3T+ 토큰 학습 및 3단계 점진적 언어 추가 전략으로 XLM-R을 첫 번째로 성능 개선
mmBERT: ModernBERT goes Multilingual
Answer.AI와 LightOn이 BERT의 아키텍처와 훈련 방식을 LLM 최신 기법으로 개선하여 ModernBERT 출시, 8192 시퀀스 길이와 기존 BERT 대비 향상된 다운스트림 성능 달성
Finally, a Replacement for BERT: Introducing ModernBERT
Rocket Money가 정규식 기반 시스템을 BERT 모델과 Hugging Face Inference API로 교체해 월 1억 건 이상의 거래를 4000+ 클래스로 분류
Rocket Money x Hugging Face: Scaling Volatile ML Models in Production
Hugging Face와 Flower를 조합해 distilBERT 모델을 IMDB 감정 분류 작업에서 다중 클라이언트 간 연합학습으로 훈련
Federated Learning using Hugging Face and Flower
Hugging Face Transformers와 Habana Gaudi를 활용해 BERT 사전학습 비용을 $2,075 대비 $1,650으로 25% 절감
Pre-Train BERT with Hugging Face Transformers and Habana Gaudi
Hugging Face와 Habana Labs의 파트너십으로 Habana Gaudi 가속기를 활용해 BERT 모델 파인튜닝을 2분 12초에 완료하고 GPU 기반 인스턴스 대비 40% 더 나은 가격 대비 성능 달성
Getting Started with Transformers on Habana Gaudi
Hugging Face Transformers와 AWS Inferentia를 결합하여 BERT 추론 레이턴시를 5-6ms로 단축하고 GPU 대비 80% 비용 절감
Accelerate BERT inference with Hugging Face Transformers and AWS Inferentia
Google이 Transformer 아키텍처와 MLM(Masked Language Model) 학습 방식을 도입해 11개 이상의 NLP 작업을 단일 모델로 해결
BERT 101 - State Of The Art NLP Model Explained
Intel과 Hugging Face가 Ice Lake Xeon CPU의 AVX512, VNNI 하드웨어 기능과 oneAPI 소프트웨어 최적화를 조합하여 BERT 모델 추론 성능을 Cascade Lake 대비 75% 향상
Scaling up BERT-like model Inference on modern CPU - Part 2
Hugging Face가 BERT 모델 CPU 추론 성능 벤치마킹 프레임워크를 재구성하여 PyTorch, TensorFlow, TorchScript, XLA, ONNX Runtime 등 4가지 런타임 간 비교 분석 가능
Scaling-up BERT Inference on CPU (Part 1)
Hugging Face가 TensorFlow Transformers 모델을 최적화해 BERT 추론 속도를 Google 공식 구현 대비 최대 10% 단축 및 v4.1.1 대비 2배 개선
Faster TensorFlow models in Hugging Face Transformers