Hugging Face가 Intel Gaudi 하드웨어를 Text Generation Inference에 네이티브 통합으로 별도 포크 제거 및 최신 기능 동시 지원
🚀 Accelerating LLM Inference with TGI on Intel Gaudi
Intel Gaudi에서 Speculative Sampling 기반 Assisted Generation을 구현해 텍스트 생성 속도 약 2배 향상
Faster assisted generation support for Intel Gaudi
Intel Gaudi 2 AI 가속기에서 Optimum Habana 라이브러리와 커스텀 파이프라인 클래스를 통해 Llama 2 모델의 텍스트 생성을 몇 줄의 코드로 실행 가능하게 구현
Text-Generation Pipeline on Intel® Gaudi® 2 AI Accelerator