워크로드 특성에 따른 GCP Compute 최적화 전략 및 GKE 기반 AI 추론 구조 설계
🚀 Cloud Run, GKE, or GCE? Choosing Your Compute
AWS News Blog
AWS가 Amazon SageMaker Inference에 커스텀 Amazon Nova 모델 지원을 추가해 G5/G6 인스턴스 기반 배포와 5분 단위 자동 스케일링으로 추론 비용 최적화 제공
Announcing Amazon SageMaker Inference for custom Amazon Nova models
Hugging Face가 Inference Widget, Inference API, Inference Endpoints, Spaces 4가지 솔루션으로 개발 단계부터 프로덕션 배포까지 ML 모델 추론 인프라 통합
An overview of inference solutions on Hugging Face