Hugging Face가 OVHcloud를 Inference Provider로 통합하여 모델 페이지에서 직접 서버리스 추론 호출 가능

Context

Hugging Face Hub 사용자들이 모델을 활용할 때 단일 추론 제공자만 선택할 수 있어 지역성, 가격, 기능 측면에서 제한적이었다. 유럽 사용자들은 데이터 주권과 지연시간 요구사항을 충족하는 추론 인프라의 부족으로 어려움을 겪고 있었다.

Technical Solution

• OVHcloud를 Inference Provider로 Hugging Face Hub에 등록: 모델 페이지 UI에서 OVHcloud 선택 가능하도록 구현
• 양방향 인증 지원: 사용자 API 키 직접 사용(Custom Key 모드) 또는 Hugging Face 토큰으로 자동 라우팅(Routed by HF 모드) 옵션 제공
• Python(huggingface_hub >= 1.1.5) 및 JavaScript(@huggingface/inference) 클라이언트 SDK 통합: 모델명에 ":ovhcloud" 접미사 추가로 제공자 지정
• 사용자 계정 설정에서 제공자 API 키 저장 및 우선순위 관리 기능 추가
• 구조화된 출력, 함수 호출, 멀티모달(텍스트/이미지) 기능 지원하는 OVHcloud AI Endpoints 플랫폼 통합

Impact

OVHcloud AI Endpoints는 첫 토큰 응답시간 200ms 미만 제공, €0.04/백만 토큰 가격대 지원, Hugging Face PRO 사용자에게 매월 $2 추론 크레딧 제공