저사양 CPU 환경에서 Ollama와 커널 튜닝을 통한 Local AI 구동 최적화
No GPU? No problem!, running local AI efficiently on my CPU.
Intel과 Hugging Face가 Google Cloud C4 VM에서 MoE 모델의 전문가 실행 최적화를 구현해 GPT OSS 추론 성능 1.7배 향상 및 TCO 70% 개선
Google Cloud C4 Brings a 70% TCO improvement on GPT OSS with Intel and Hugging Face
Hugging Face Optimum Intel과 fastRAG를 활용해 BGE 임베딩 모델을 CPU 최적화하여 Xeon 기반 RAG 파이프라인의 문서 인덱싱·쿼리 인코딩·리랭킹 레이턴시 단축
CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG