Cohere가 Hugging Face Inference Providers에 통합되어 Hub를 통해 4개 모델의 서버리스 추론 서비스 직접 제공

Context

Hugging Face Hub 사용자들은 기존에 다양한 inference provider에서 모델을 개별적으로 호출해야 했으며, 모델 창작자들이 자신의 모델을 Hub에서 직접 서빙할 수 없었다.

Technical Solution

• Cohere를 Hugging Face Inference Providers 목록에 추가: 모델 크리에이터 최초로 Hub을 통해 직접 모델 서빙 가능
• 4개 모델의 서버리스 추론 지원: CohereLabs/c4ai-command-a-03-2025 (256k 컨텍스트), CohereLabs/aya-expanse-32b (128k 컨텍스트, 22개 언어), CohereLabs/c4ai-command-r7b-12-2024 (128k 컨텍스트, 저비용/저레이턴시), CohereLabs/aya-vision-32b (멀티모달, 23개 언어)
• Hub UI에서 직접 추론 실행: 모델 카드에서 inference provider 선택 후 UI 내 추론 실행 가능
• 다중 클라이언트 SDK 지원: huggingface_hub (Python), @huggingface/inference (JavaScript), OpenAI 클라이언트 라이브러리로 Cohere 엔드포인트 호출 가능
• 멀티모달 입력 처리: base64 인코딩 이미지를 메시지 컨텐츠에 포함하여 시각-언어 모델 호출 가능
• 도구 호출 및 에이전트 행동 지원: 함수 정의, tool_calls 메시지 역할로 모델의 tool use 기능 활용 가능

Impact

PRO 사용자는 매월 2달러 상당의 Inference 크레딧 제공, Cohere API 요금은 마크업 없이 직통 가격으로 청구

Key Takeaway

모델 창작자가 자체 inference provider로 Hub에 통합되면 사용자들이 SDK/UI를 통해 일관된 인터페이스로 모델에 접근할 수 있으며, 이는 모델 배포의 진입장벽을 낮춘다.