Hugging Face가 Scaleway를 Inference Provider로 추가하여 유럽 데이터센터 기반 서버리스 AI 모델 추론 서비스 통합

Context

Hugging Face Hub 사용자들이 다양한 AI 추론 서비스를 통합된 방식으로 접근할 수 없었다. 특정 지역(유럽)의 데이터 주권과 낮은 지연시간을 요구하는 사용자들을 위한 추론 제공자 선택지가 제한적이었다.

Technical Solution

• Scaleway를 Hugging Face Hub의 공식 Inference Provider로 등록: 모델 페이지에서 직접 Scaleway의 추론 서비스 선택 가능
• 클라이언트 SDK에 Inference Provider 통합: Python (huggingface_hub >= 0.34.6)과 JavaScript (@huggingface/inference)에서 provider="scaleway" 파라미터로 제공자 지정
• 두 가지 인증 모드 구현: 사용자 API 키 직접 사용 또는 Hugging Face 토큰을 통한 라우팅
• 사용자 계정 설정에서 API 키 관리 및 제공자 우선순위 설정 기능 추가
• gpt-oss-120b, Qwen3, DeepSeek R1, Gemma 3 등 주요 오픈 소스 모델 지원

Impact

• 첫 토큰 응답시간(TTFT) 200ms 미만 달성
• 토큰당 가격 €0.20/백만 토큰부터 시작
• PRO 사용자에게 월 $2 추론 크레딧 제공

Key Takeaway

Inference Provider를 SDK 레벨에서 통합하면 사용자가 제공자별 API 문법 차이를 학습할 필요 없이 통일된 인터페이스로 여러 추론 서비스를 전환 가능하게 된다. 데이터 주권과 레이턴시 요구사항에 따라 제공자를 선택할 수 있는 유연성도 확보된다.