Hugging Face가 fal, Replicate, Sambanova, Together AI 등 4개 서버리스 추론 제공자를 Hub에 통합해 모델 페이지와 Python/JS SDK에서 직접 접근 가능하게 구축

Context

Hugging Face는 2020년 여름부터 자체 Serverless Inference API(v1)를 제공했으나, 핵심 가치를 모델·데이터셋의 협업·저장·버전 관리·배포로 재정의했습니다. 동시에 fal, Replicate, Sambanova, Together AI 같은 서드파티 서버리스 제공자들이 성장하면서, 사용자들이 여러 제공자에 접근하기 위해 각각 다른 인터페이스를 사용해야 하는 문제가 발생했습니다.

Technical Solution

• Hub 모델 페이지에 제공자 통합: 모델 페이지 내에서 호환되는 서드파티 추론 제공자를 사용자 선호도 순서로 표시하고 직접 선택 가능
• 통합 SDK 인터페이스 제공: huggingface_hub(Python, v0.28.0+)와 @huggingface/inference(JS)에서 provider 파라미터로 제공자를 선택하기만 하면 동일 API 호출 가능
• 사용자 계정 설정에서 API 키 관리: 각 제공자의 API 키를 사전에 등록하거나, 등록하지 않으면 Hugging Face가 자동으로 라우팅
• 두 가지 청구 방식 제공: (1) 사용자의 제공자 API 키 직접 사용 시 해당 제공자에 청구, (2) Hugging Face 인증 사용 시 Hugging Face 계정으로 표준 제공자 요금 청구
• OpenAI 호환 HTTP 라우팅 프록시: https://router.huggingface.co/{provider} 엔드포인트로 cURL 및 OpenAI 클라이언트 라이브러리로도 접근 가능

Impact

PRO 사용자에게 월 2달러 상당의 추론 크레딧 제공(모든 제공자에서 사용 가능).

Key Takeaway

멀티 제공자 환경에서 추상화 계층(SDK, 라우팅 프록시)을 제공하면, 사용자가 제공자 전환 시 코드 변경을 최소화하면서 비용과 성능을 최적화할 수 있습니다.