Hugging Face가 Vision Transformer 도입부터 시작해 8개 핵심 컴퓨터 비전 태스크, 3000개 이상의 모델, 100개 이상의 데이터셋을 Hub에 통합

Context

Hugging Face는 AI의 민주화라는 미션 하에서 자연어처리를 넘어 컴퓨터 비전 영역으로 확장할 필요가 있었다. 기존에는 Vision Transformer(ViT) 하나의 아키텍처만 제한적으로 지원했던 상황에서 산업 현장의 다양한 비전 태스크에 대응해야 했다.

Technical Solution

• 8개 핵심 비전 태스크 지원 추가: 이미지 분류, 이미지 세분화, Zero-shot 객체 탐지, 비디오 분류, 깊이 추정, 이미지-이미지 합성, 무조건부 이미지 생성, Zero-shot 이미지 분류
• Vision-Language 교차 태스크 통합: 이미지-텍스트(이미지 캡셔닝, OCR), 텍스트-이미지, 문서 질답, 시각 질답(VQA) 지원
• 다양한 아키텍처 지원 확대: Transformer 기반(ViT, Swin, DETR) 외에도 순수 합성곱 신경망(ConvNeXt, ResNet, RegNet) 포함
• Pipelines API로 추론 단순화: 7개 비전 태스크에 대해 3~5줄 코드로 추론 수행 가능하도록 통일된 인터페이스 제공
• Trainer API로 미세조정 지원: 이미지 분류, 이미지 세분화, 비디오 분류, 객체 탐지, 깊이 추정에 대해 Trainer로 통합된 학습 지원
• Datasets와 증강 라이브러리 통합: ImageNet-1k, Scene Parsing, NYU Depth V2, COYO-700M, LAION-400M 등 100개 이상 데이터셋 접근 및 albumentations, Kornia 라이브러리 연동
• Zero-shot 모델 지원: CLIP(Zero-shot 이미지 분류), OWL-ViT(Zero-shot 객체 탐지), CLIPSeg(Zero-shot 세분화), GroupViT(Zero-shot 세분화), X-CLIP(Zero-shot 비디오 분류) 추가
• Inference Endpoints를 통한 배포: 이미지 분류, 객체 탐지, 이미지 세분화는 직접 통합, 기타 태스크는 커스텀 핸들러로 지원

Impact

Hub에 3000개 이상의 모델 제공, 100개 이상의 컴퓨터 비전 데이터셋 통합

Key Takeaway

오픈소스 ML 생태계의 민주화는 단일 라이브러리 내 기능 통합보다는 Transformer, PyTorch뿐 아니라 제3의 라이브러리까지 포함한 표준화된 인터페이스(Pipeline, Trainer, Hub)를 통해 달성된다. 아키텍처 선택의 자유도와 프로덕션 배포 경로의 단순성이 커뮤니티 채택률을 결정한다.