Akamai, 18억 달러 규모 Distributed Inference 플랫폼 공급 계약 체결
Akamai surges on big LLM deal as Cloudflare dims
Darkbloom – 유휴 Mac을 활용한 개인용 AI 추론 네트워크
유휴 Apple Silicon 통합 메모리를 활용한 분산 AI 추론 네트워크 설계
저자가 llama.cpp RPC를 활용하여 이기종 GPU 환경(NVIDIA DGX Spark와 Mac Studio)에서 10GbE 직접 연결 기반 분산 LLM 추론을 구현한 과정과 성능 결과를 기술함
Distributed LLM Inference Across NVIDIA Blackwell and Apple Silicon Over 10GbE
Mistral AI의 Voxtral TTS, RotorQuant의 Clifford 대수 양자화, vLLM의 분산 추론 최적화로 로컬 LLM 서빙이 3GB 메모리 90ms 초지연, 10-19배 양자화 가속, 100만 토큰/초 달성
Local LLM Acceleration: Quantization, TTS, and 1M Tokens/Sec
Intel Gaudi 2 AI 가속기에서 Optimum Habana 라이브러리와 커스텀 파이프라인 클래스를 통해 Llama 2 모델의 텍스트 생성을 몇 줄의 코드로 실행 가능하게 구현
Text-Generation Pipeline on Intel® Gaudi® 2 AI Accelerator
Hugging Face와 Google Cloud가 JAX + Cloud TPU v5e 조합으로 Stable Diffusion XL 추론을 2.4배 비용 효율로 개선하고 4초 내 1024×1024 이미지 4장 생성
🧨 Accelerating Stable Diffusion XL Inference with JAX on Cloud TPU v5e