Hugging Face와 IBM이 watsonx.ai 통합으로 Transformer 기반 모델 배포 파이프라인 표준화

Context

엔터프라이즈 조직은 수백~수천 개의 서로 다른 AI 모델을 동시에 운영하며, 각 사용 사례별 최적 모델 구축과 신규 모델의 빠른 프로덕션 배포 필요성을 겪고 있다. 기존에는 클라우드 규정 준수 제약이 있는 고객들이 온프레미스 ML 플랫폼을 자체 구축해야 했다.

Technical Solution

• transformers, accelerate, peft, Text Generation Inference 서버 등 Hugging Face 오픈소스 라이브러리를 watsonx.ai에 통합
• RedHat OpenShift 기반으로 클라우드 및 온프레미스 배포 모두 지원
• Hugging Face Hub의 모델과 데이터셋을 watsonx.ai에서 네이티브로 사용 가능하도록 연결
• IBM의 대규모 언어 모델 컬렉션을 오픈소스화하여 Hugging Face Hub에 공개 예정
• 표준화된 DevOps 도구로 watsonx.ai 배포 및 관리 지원

Key Takeaway

Transformer 아키텍처 표준화와 오픈소스 라이브러리 생태계 통합을 통해 엔터프라이즈 환경에서 다중 모델 배포 파이프라인의 복잡성을 감소시킬 수 있다.