Hugging Face가 Vision-Language 모델의 5가지 사전학습 전략(Contrastive Learning, PrefixLM, Cross Attention, MLM/ITM, No Training)을 Transformers에 통합해 멀티모달 태스크 구현 단순화
A Dive into Vision-Language Models
Hugging Face가 Sentence Transformer 기반 SetFit 프레임워크를 개발해 8개 레이블 예제로 3,000개 풀셋 학습과 동등한 성능 달성
SetFit: Efficient Few-Shot Learning Without Prompts
Hugging Face 팀이 10억 개의 문장 쌍으로 Sentence Transformer 모델을 학습하면서 대조 학습(Contrastive Learning)과 배치 최적화를 통해 여러 일반 목적 문장 임베딩 모델에서 SOTA(State-of-the-Art) 달성
Train a Sentence Embedding Model with 1B Training Pairs