Intel과 Hugging Face가 Google Cloud C4 VM에서 MoE 모델의 전문가 실행 최적화를 구현해 GPT OSS 추론 성능 1.7배 향상 및 TCO 70% 개선
Google Cloud C4 Brings a 70% TCO improvement on GPT OSS with Intel and Hugging Face
Google Cloud C4 인스턴스(5th Gen Xeon with AMX)가 N2(3rd Gen Xeon)를 텍스트 임베딩에서 10~24배, 텍스트 생성에서 2.3~3.6배 성능 향상 달성
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
Hugging Face와 Intel이 SetFit 모델에 Optimum Intel의 Post-Training Quantization을 적용해 Intel Xeon CPU에서 7.8배 추론 속도 향상 달성
Blazing Fast SetFit Inference with 🤗 Optimum Intel on Xeon
Intel이 Optimum Intel을 통해 StarCoder 15B 모델에 INT8/INT4 양자화와 Speculative Decoding을 적용해 Xeon에서 7배 이상의 추론 가속 달성
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
Intel과 Hugging Face가 SmoothQuant 양자화 기법으로 LLM을 INT8로 압축해 Xeon CPU에서 실시간 텍스트 생성 달성
Smaller is better: Q8-Chat, an efficient generative AI experience on Xeon
Intel이 Sapphire Rapids CPU에서 OpenVINO, IPEX, AMX 가속기를 조합해 Stable Diffusion 추론 레이턴시를 32.3초에서 5.05초로 84% 단축
Accelerating Stable Diffusion Inference on Intel CPUs
Intel과 Hugging Face가 Optimum Intel 라이브러리를 통해 DistilBERT 모델을 양자화해 평가 속도를 1.34배 향상
Intel and Hugging Face Partner to Democratize Machine Learning Hardware Acceleration
Intel과 Hugging Face가 Ice Lake Xeon CPU의 AVX512, VNNI 하드웨어 기능과 oneAPI 소프트웨어 최적화를 조합하여 BERT 모델 추론 성능을 Cascade Lake 대비 75% 향상
Scaling up BERT-like model Inference on modern CPU - Part 2