Hugging Face가 AWS Inferentia2 칩 지원을 SageMaker와 Inference Endpoints에 통합해 100,000개 이상의 모델 배포 가능
Deploy models on AWS Inferentia2 from Hugging Face
Hugging Face가 Text Generation Inference를 AWS Inferentia2에 통합해 GPU 대비 비용 효율적인 LLM 프로덕션 배포 환경 제공
Hugging Face Text Generation Inference available for AWS Inferentia2
AWS와 Hugging Face가 optimum-neuron 라이브러리를 통해 Llama 2를 AWS Inferentia2에 컴파일·배포하여 inf2.48xlarge에서 토큰당 2~3ms의 레이턴시와 초당 227~750 토큰의 처리량 달성
Make your llama generation time fly with AWS Inferentia2
Hugging Face와 AWS가 Transformer 모델을 AWS Inferentia2에 최적화하여 NVIDIA A10G GPU 대비 4.5배 낮은 레이턴시 달성
Accelerating Hugging Face Transformers with AWS Inferentia2