Hugging Face가 Vision Language Model의 아키텍처, 평가 방법론, 파인튜닝 프레임워크를 종합적으로 설명하여 멀티모달 모델 도입 가이드 제공
Vision Language Models Explained
Kakao Brain이 공개 데이터셋 COYO-700M으로 학습한 ViT와 ALIGN 모델을 오픈소스 공개하여 Google의 폐쇄 데이터셋 모델과 동등한 성능 달성
New ViT and ALIGN Models From Kakao Brain
Hugging Face가 Vision-Language 모델의 5가지 사전학습 전략(Contrastive Learning, PrefixLM, Cross Attention, MLM/ITM, No Training)을 Transformers에 통합해 멀티모달 태스크 구현 단순화
A Dive into Vision-Language Models