Hugging Face가 DataCollatorWithFlattening과 Flash Attention 2를 결합해 패딩 제거 시퀀스 학습에서 2배 처리량 향상 달성
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2
Hugging Face Transformers를 사용해 Vision Transformer(ViT) 모델을 beans 데이터셋에 파인튜닝하여 98.5% 평가 정확도 달성
Fine-Tune ViT for Image Classification with 🤗 Transformers
Hugging Face Transformers가 pyctcdecode 라이브러리를 통합하여 Wav2Vec2 음성인식 모델에 n-gram 언어모델을 결합한 디코딩 방식 제공으로 WER 30% 상대 성능 향상
Boosting Wav2Vec2 with n-grams in 🤗 Transformers
Hugging Face가 PyTorch/XLA를 Trainer 모듈에 통합해 Cloud TPU에서 트랜스포머 학습을 네이티브 지원
Hugging Face on PyTorch / XLA TPUs
Hugging Face Transformers 3.1에서 Ray Tune을 통합하여 하이퍼파라미터 튜닝 시 Population-based Training으로 검증 정확도 78%, 테스트 정확도 70.5% 달성
Hyperparameter Search with Transformers and Ray Tune