#multi-backend-architecture

Hugging Face가 Text Generation Inference(TGI)에 다중 백엔드 아키텍처를 도입해 vLLM, TensorRT-LLM, llama.cpp 등 다양한 추론 엔진을 단일 프론트엔드로 통합

Introducing multi-backends (TRT-LLM, vLLM) support for Text Generation Inference