Microsoft와 Hugging Face가 Azure AI Foundry에 10,000개 이상의 Hugging Face 모델을 통합하여 엔터프라이즈급 오픈 모델 배포 간소화

Context

2년 전 Microsoft와 Hugging Face 협력 초기에는 200,000개의 오픈 모델만 Azure에서 접근 가능했으나, 현재 Hugging Face 허브에 약 2백만 개의 모델이 존재하면서 기존 협력 체계의 확장이 필요했다. Azure 고객들이 다양한 오픈 모델을 안전하게 배포하고 프라이빗 데이터와 함께 사용할 수 있는 간편한 인터페이스가 부족했다.

Technical Solution

• Azure AI Foundry의 Model Catalog에 10,000개 이상의 Hugging Face 모델을 Collection으로 통합하여 클릭 몇 번으로 배포 가능하게 구성
• ProtectAI Guardian과 JFrog 보안 스캐너로 모델 검증을 실시하고 safetensors 형식으로 모델 가중치 저장하여 Pickle 취약점 방지
• 배포 UI에서 VM 선택, 인스턴스 개수, 배포 파라미터 설정을 한 번에 처리하는 단순화된 배포 프로세스 제공
• Hugging Face 모델 페이지에서 직접 "Deploy on Azure ML" 옵션으로 Azure ML Studio 배포 환경으로 연동
• 추론 컨테이너에 대한 지속적인 보안 취약점 테스트와 패치 유지 체계 수립

Impact

Azure AI Foundry에서 제공되는 Hugging Face 모델 수가 초기 협력 대비 50배 이상 확대(200,000개 → 10,000개 이상이 바로 배포 가능)되었다.

Key Takeaway

엔터프라이즈급 오픈 모델 생태계를 클라우드 플랫폼에 통합할 때는 보안 검증(ProtectAI Guardian, JFrog 스캐너), 표준 포맷 강제(safetensors), 배포 자동화를 동시에 구현하여 개발자 경험과 보안성을 양립시켜야 한다.