Intel이 Sapphire Rapids CPU에서 OpenVINO, IPEX, AMX 가속기를 조합해 Stable Diffusion 추론 레이턴시를 32.3초에서 5.05초로 84% 단축
Accelerating Stable Diffusion Inference on Intel CPUs
Hugging Face Infinity가 Intel Ice Lake CPU 기반 최적화로 Vanilla Transformers 대비 처리량 800% 향상 및 1-4ms 레이턴시 달성
Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs
Hugging Face가 BERT 모델 CPU 추론 성능 벤치마킹 프레임워크를 재구성하여 PyTorch, TensorFlow, TorchScript, XLA, ONNX Runtime 등 4가지 런타임 간 비교 분석 가능
Scaling-up BERT Inference on CPU (Part 1)