피드로 돌아가기
Introducing the Private Hub: A New Way to Build With Machine Learning
Hugging Face BlogHugging Face Blog
AI/ML

Hugging Face가 Private Hub(현 Enterprise Hub)를 출시해 머신러닝 모델·데이터셋·앱을 통합 관리하고 협업하는 플랫폼 제공

Introducing the Private Hub: A New Way to Build With Machine Learning

2022년 8월 3일12beginner

Context

머신러닝 모델의 약 90%가 프로덕션에 진출하지 못하고 있으며, 비표준화된 워크플로우와 도구의 산재로 ML 개발이 지연되고 있다. 팀 간 모델과 데이터셋 공유 부족으로 중복 개발이 발생하고, ML 팀이 Docker/Kubernetes 최적화에 시간을 낭비하고 있다.

Technical Solution

  • 60,000+ 사전학습 모델, 6,000+ 데이터셋, 6,000+ 데모 앱을 하나의 플랫폼에 집약: Hugging Face Hub에서 NLP, 컴퓨터 비전, 음성, 시계열, 생물학, 강화학습, 화학 분야의 자산 호스팅
  • Git 기반 저장소 구조 도입: 모든 모델, 데이터셋, Space를 버전 제어되는 Git 저장소로 관리하여 commit 히스토리, pull request, discussions 지원
  • Organization 기능으로 팀 협업 활성화: 조직 단위 저장소 관리 및 역할 기반 접근 제어(RBAC) 제공
  • Transfer Learning 지원 강화: 60,000+ 사전학습 모델을 통해 처음부터 학습하지 않고 기존 모델 fine-tuning으로 개발 시간 단축
  • 12줄 코드로 추론 API 실행: Inference API를 통해 HTTP 요청으로 프로덕션 규모의 실시간 추론 처리
  • Enterprise Hub 보안 강화: SSO를 통한 고급 사용자 관리, 클라우드 및 온프레미스 다양한 compute 옵션 지원

Impact

Inference API를 사용한 추론은 12줄의 코드로 프로덕션 수준의 부하를 처리할 수 있다.

Key Takeaway

머신러닝 개발의 표준화된 협업 플랫폼을 제공함으로써 팀 간 자산 공유와 중복 개발 방지를 동시에 달성할 수 있으며, Git 기반 버전 관리와 통합 추론 API는 프로토타입에서 프로덕션까지의 경로를 단순화한다.


머신러닝 팀이 여러 도구(모델 저장소, 데이터 관리, 협업 플랫폼)를 산재 운영하는 환경에서 Hugging Face Hub의 Organization 기능과 Git 기반 버전 관리를 도입하면 팀 간 모델/데이터셋 재사용률을 높이고 중복 개발을 방지할 수 있다.

원문 읽기