모델 경량화 및 Kubernetes 도입을 통한 서빙 비용 최적화와 15GB→300MB 용량 절감
Serving AI Models: Balancing Cost and Performance
BentoML을 활용해 Hugging Face의 DeepFloyd IF 텍스트-이미지 생성 모델을 프로덕션 환경에 배포하는 엔드-투-엔드 워크플로우 구현
Deploying Hugging Face Models with BentoML: DeepFloyd IF in Action
Hugging Face가 TensorFlow Transformers 모델을 최적화해 BERT 추론 속도를 Google 공식 구현 대비 최대 10% 단축 및 v4.1.1 대비 2배 개선
Faster TensorFlow models in Hugging Face Transformers