Meta와 Google Cloud가 Llama 3.1 405B를 Vertex AI + A3 머신(8×H100 GPU)에 FP8 양자화로 배포하는 엔드투엔드 가이드 제시
Deploy Meta Llama 3.1 405B on Google Cloud Vertex AI
Hugging Face가 AWS Inferentia2 칩 지원을 SageMaker와 Inference Endpoints에 통합해 100,000개 이상의 모델 배포 가능
Deploy models on AWS Inferentia2 from Hugging Face
Google Cloud와 Hugging Face가 Deploy on Google Cloud 통합으로 수천 개의 오픈소스 LLM을 Vertex AI와 GKE에 원클릭으로 배포 가능하게 구현
Making thousands of open LLMs bloom in the Vertex AI Model Garden
Meta의 Llama 2를 Amazon SageMaker에 배포하기 위해 60가지 구성을 벤치마킹하여 비용·처리량·지연시간별 최적 배포 전략 제시
Llama 2 on Amazon SageMaker a Benchmark
Hugging Face Inference Endpoints로 Falcon 40B 같은 오픈소스 LLM을 수 클릭으로 프로덕션 API로 배포하고 자동 스케일링으로 미사용 시 비용 제거
Deploy LLMs with Hugging Face Inference Endpoints