Hugging Face가 Inference Widget, Inference API, Inference Endpoints, Spaces 4가지 솔루션으로 개발 단계부터 프로덕션 배포까지 ML 모델 추론 인프라 통합

Context

ML 개발자들이 모델 테스트부터 프로덕션 배포까지 각 단계마다 다른 도구와 인프라를 사용해야 하는 불편함이 있었다. 특히 프로덕션 배포 시 보안, 확장성, 모니터링 등 운영 측면의 복잡성이 높았다.

Technical Solution

• Inference Widget: 모델 페이지에서 샘플 데이터를 업로드하고 단 한 번의 클릭으로 예측 결과 확인 (코드 작성 불필요)
• Inference API: HTTP POST 요청으로 모든 Hub 모델을 로드하고 초 단위로 예측 수행 (URL과 Hub 토큰만 필요)
• Inference Endpoints: AWS 또는 Azure 리전 선택 가능한 안전하고 확장 가능한 인프라에 모델 배포 (시간당 $0.06부터 시작, 자동 스케일링 포함)
• Inference Endpoints 보안 레벨 3단계: Public(인증 없음), Protected(Hugging Face 토큰 필요), Private(AWS/Azure 프라이빗 연결만 가능)
• Spaces: Gradio 같은 UI 프레임워크 위에서 모델을 배포하고 Intel CPU 또는 NVIDIA GPU 같은 하드웨어 업그레이드 지원

Impact

Intel Xeon Ice Lake 아키텍처 기반 CPU 추론 솔루션을 무료로 제공하기 시작했다.

Key Takeaway

ML 프로젝트의 각 생명주기 단계(개발, 평가, 프로덕션)에 맞춘 계층화된 추론 솔루션을 제공하면 개발자의 마찰을 최소화하면서 상태별 최적의 비용-성능 비율을 달성할 수 있다.