Hugging Face가 Public AI를 Inference Provider로 통합해 vLLM 백엔드와 글로벌 로드 밸런싱을 통한 분산 추론 인프라 제공

Context

Hugging Face Hub의 모델 페이지에서 다양한 추론 제공자에 접근하기 위해서는 각각의 API 키 관리와 별도의 통합이 필요했다. 공개 AI 모델들(Swiss AI Initiative, AI Singapore 등)을 활용하려는 사용자들이 플랫폼 간 접근성 문제를 겪고 있었다.

Technical Solution

• Inference Provider 통합 구조 도입: Public AI를 Hugging Face Hub의 공식 Inference Provider로 등록하여 모델 페이지에 직접 표시
• vLLM 기반 백엔드 배포: OpenAI 호환 API를 노출하는 vLLM 서버를 여러 국가의 파트너 클러스터에 분산 배포
• 글로벌 로드 밸런싱 레이어 구현: 요청 경로를 자동으로 최적화하여 어느 국가의 컴퓨팅 리소스가 처리하든 투명하게 라우팅
• 듀얼 인증 모드 지원: 사용자 API 키 직접 사용(Custom key) 또는 Hugging Face를 통한 라우팅(Routed by HF) 두 가지 호출 방식 제공
• Python/JavaScript SDK 네이티브 통합: huggingface_hub(>=0.34.6)과 @huggingface/inference 패키지에서 provider="publicai" 파라미터로 즉시 사용 가능
• Provider 우선순위 관리: 사용자 계정 설정에서 여러 Inference Provider를 선호도 순서대로 설정 가능

Impact

Public AI Inference Utility를 통한 사용량이 현재 무료이며, Hugging Face PRO 사용자는 매월 $2 상당의 Inference 크레딧을 제공받는다.

Key Takeaway

분산 추론 인프라에서 OpenAI 호환 API와 글로벌 로드 밸런싱을 표준으로 제공하면, 사용자가 별도 코드 수정 없이 여러 제공자를 동일한 인터페이스로 전환할 수 있다. 이는 멀티 클라우드/멀티 리전 아키텍처 설계 시 API 일관성과 제공자 간 유연한 전환을 핵심 원칙으로 삼아야 함을 시사한다.