Hugging Face가 Intel Gaudi 하드웨어를 Text Generation Inference에 네이티브 통합으로 별도 포크 제거 및 최신 기능 동시 지원
🚀 Accelerating LLM Inference with TGI on Intel Gaudi
Hugging Face가 Text Generation Inference(TGI)에 다중 백엔드 아키텍처를 도입해 vLLM, TensorRT-LLM, llama.cpp 등 다양한 추론 엔진을 단일 프론트엔드로 통합
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference
Hugging Face가 TGI Benchmarking 도구를 공개해 LLM 배포 시 Latency와 Throughput의 트레이드오프를 가시화하고 최적 설정 탐색 가능
Benchmarking Text Generation Inference
Hugging Face가 AMD Instinct MI300 GPU를 Transformers와 text-generation-inference에 통합해 코드 변경 없이 로컬 환경부터 Azure 프로덕션까지 배포 지원 및 Llama 3 70B 학습 속도 2배 향상 달성
Hugging Face on AMD Instinct MI300 GPU
Ryght가 Hugging Face의 TGI와 TEI를 도입해 의료 AI 플랫폼에서 플러그인 가능한 LLM 아키텍처와 다중 고객 동시 요청 처리 구현
Ryght’s Journey to Empower Healthcare and Life Sciences with Expert Support from Hugging Face
Hugging Face가 Text Generation Inference에 OpenAI 호환 Messages API를 추가해 오픈소스 LLM으로의 무중단 마이그레이션 가능
From OpenAI to Open LLMs with Messages API on Hugging Face
Hugging Face가 Text Generation Inference를 AWS Inferentia2에 통합해 GPU 대비 비용 효율적인 LLM 프로덕션 배포 환경 제공
Hugging Face Text Generation Inference available for AWS Inferentia2
Hugging Face가 PRO 구독자를 위해 curated 모델들의 API 엔드포인트와 향상된 rate limit을 제공하는 Inference for PROs 서비스 출시
Inference for PROs
Hugging Face가 Text Generation Inference 기반 LLM 추론 컨테이너를 Amazon SageMaker에 도입해 오픈소스 LLM의 배포·서빙 프로세스 단순화
Introducing the Hugging Face LLM Inference Container for Amazon SageMaker