ServiceNow가 15B 추론 모델을 Mamba 하이브리드로 변환해 2.1배 처리량 증가 달성
Apriel-H1: The Surprising Key to Distilling Efficient Reasoning Models
Intel이 Optimum Intel을 통해 StarCoder 15B 모델에 INT8/INT4 양자화와 Speculative Decoding을 적용해 Xeon에서 7배 이상의 추론 가속 달성
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
AWS와 Hugging Face가 optimum-neuron 라이브러리를 통해 Llama 2를 AWS Inferentia2에 컴파일·배포하여 inf2.48xlarge에서 토큰당 2~3ms의 레이턴시와 초당 227~750 토큰의 처리량 달성
Make your llama generation time fly with AWS Inferentia2