Gemma 4 9B 기반 Local LLM 도입으로 운영 비용 66% 절감 및 API 의존성 제거
I Ran Gemma 4 on a $7/Month Server and Built an AI-Powered News Monitor That Costs $0 to Operate
GPU 없이 CPU 전용 llamafile 기반 Hermes Agent 로컬 런타임 구현
I Ran Hermes Agent Locally on CPU-Only Hardware With llamafile — No GPU, No Server, No Cloud API
Parakeet v3 기반의 CPU 최적화 Offline-first STT API 구현
Aximo - offline-first STT API
Rust 기반 CPU 전용 로컬 STT 마이크로서비스 Aximo 구현
Aximo — a local Rust STT API for CPU-only inference
Intel이 Sapphire Rapids CPU에서 OpenVINO, IPEX, AMX 가속기를 조합해 Stable Diffusion 추론 레이턴시를 32.3초에서 5.05초로 84% 단축
Accelerating Stable Diffusion Inference on Intel CPUs
Hugging Face Infinity가 Intel Ice Lake CPU 기반 최적화로 Vanilla Transformers 대비 처리량 800% 향상 및 1-4ms 레이턴시 달성
Case Study: Millisecond Latency using Hugging Face Infinity and modern CPUs
Hugging Face가 BERT 모델 CPU 추론 성능 벤치마킹 프레임워크를 재구성하여 PyTorch, TensorFlow, TorchScript, XLA, ONNX Runtime 등 4가지 런타임 간 비교 분석 가능
Scaling-up BERT Inference on CPU (Part 1)