NVIDIA NIM이 단일 Docker 컨테이너로 100,000개 이상의 Hugging Face LLM을 자동 최적화 배포하여 추론 프레임워크 선택 및 수동 튜닝 제거
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM
Accelerate a World of LLMs on Hugging Face with NVIDIA NIM
Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference