Hugging Face Hub이 Fireworks.ai를 추론 제공자로 통합하여 Python, JavaScript, HTTP 클라이언트에서 서버리스 추론 접근성 제공

Context

Hugging Face Hub 사용자들은 모델 페이지에서 직접 추론을 실행할 때 다양한 추론 제공자 옵션이 필요했다. 기존에는 인퍼런스 프로바이더 선택지가 제한적이었다.

Technical Solution

• Fireworks.ai를 HF Hub의 공식 추론 제공자로 등록: 모델 페이지에서 직접 서버리스 추론 실행 가능
• huggingface_hub Python 라이브러리에 provider="fireworks-ai" 파라미터 추가: InferenceClient 호출 시 제공자 지정
• @huggingface/inference JavaScript SDK에 provider 파라미터 구현: 동일한 인터페이스로 JS 클라이언트 지원
• HTTP 엔드포인트 라우팅 지원: https://router.huggingface.co/fireworks-ai/v1/chat/completions 경로로 cURL 요청 처리
• 이중 인증 메커니즘 구현: Hugging Face 토큰 또는 Fireworks.ai API 키를 통한 요청 라우팅 선택

Impact

PRO 사용자는 매월 2달러의 추론 크레딧을 모든 제공자에서 사용 가능하다. 직접 요청 시 Fireworks 계정으로 직접 청구되며, Hub 인증 요청 시 표준 Fireworks API 요금만 부과된다(마크업 없음).

Key Takeaway

Hugging Face Hub은 추론 제공자를 플러그인 아키텍처로 통합하여 사용자가 코드 변경 없이 provider 파라미터만 전환하면 다양한 백엔드 추론 서비스를 선택할 수 있는 추상화 계층을 제공한다.