1.5M~34.5M 파라미터 규모별 최적화로 50개 언어 OCR 정밀도 향상
PP\-OCRv6 on Hugging Face: 50\-Language OCR from 1\.5M to 34\.5M Parameters
CPU 전용 ONNX Runtime 기반의 Local AI 구현으로 프라이버시 확보 및 구독 모델 제거
How I built on-device AI background removal in a native Windows app
인간 동력 기반의 Off-grid Local LLM 구동 시스템 설계
CrankGPT
Sub-millisecond Feature Engineering 기반 실시간 ML 추론 파이프라인 설계
Predictive Alpha: Pipeline Engineering for Real-Time Machine Learning Inference
Research-first Agent 도입을 통한 AI 엔지니어링 비용 62% 절감 및 WER 16.25%p 개선
I kept using Claude Code. Added one thing to it. Cut AI engineering costs by 62%.
DirectML 기반 로컬 GPU 가속을 통한 1초 미만 배경 제거 MCP 서버 구현
Building a Local, GPU-Accelerated Background Remover MCP Server in Python
NPU Fallback 탐지 자동화로 필드 장애 해결 및 디버깅 기간 단축
How we catch silent NPU fallback on Snapdragon in CI (and why your eval set won't)
PP-OCRv5와 ONNX Runtime 기반의 99.22% 정확도 결정론적 OCR 구현
Deterministic OCR in JavaScript: PaddleOCR for Node, Bun, Deno, and the Browser
WebGPU 기반 ONNX Runtime 도입을 통한 로컬 AI 파이프라인의 브라우저 단일화
Subtitles From a YouTube Link Without Leaving the Browser
VAD 및 모델 최적화로 Whisper 연산 60% 절감 및 500ms 저지연 실시간 분석 구현
Real-Time Speech, Audio, and Facial Analysis in Production AI Systems
Inference 최적화를 통한 DistilBERT 지연시간 750ms에서 280ms로 단축
Nobody Tells You This About Slow Transformer Models — I Fixed Mine in 3 Steps
서버 비용 0원, WebGPU로 구현한 브라우저 기반 AI 배경 제거 도구
Building a Browser-Based AI Background Removal Tool
S24 Ultra에서 Phi-4-mini 온디바이스 LLM 구현 및 NPU 최적화 분투기
I Started Building a Roguelike RPG — Powered by On-Device AI #2
Kreuzberg가 Docling의 레이아웃 모델을 Rust 네이티브 파이프라인에 통합해 처리 속도 2.8배 향상 달성
Document Structure Extraction with Kreuzberg
Xaden가 Whisper.cpp + Ollama + Kokoro ONNX를 조합하여 Apple Silicon Mac에서 클라우드 API 없이 완전 로컬 음성 AI 스택 구축, TTS 콜드 스타트 지연 9초 → 300ms로 단축
Building a Local Voice AI Stack: Whisper + Ollama + Kokoro TTS on Apple Silicon
WebGPU와 WebAssembly를 조합해 브라우저에서 GPU 병렬 처리로 AI 모델 추론 속도를 단일 스레드 JavaScript의 수천 배로 향상
Supercharge Your Web Apps: Hardware Acceleration with WebGPU and WebAssembly
Transformers.js가 WebGPU 런타임을 C++로 재구현하고 빌드 시간을 2초에서 200ms로 단축하며 번들 크기를 53% 감소
Transformers.js v4 Preview: Now Available on NPM!
Hugging Face와 Microsoft가 Azure Model Catalog에 Llama 3, Mistral 7B 등 주요 오픈 LLM 추가 및 AMD MI300X GPU 최적화로 1-click 배포 및 고성능 추론 환경 제공
From cloud to developers: Hugging Face and Microsoft Deepen Collaboration
Microsoft가 ONNX Runtime과 Olive를 활용해 SD Turbo와 SDXL Turbo 추론 성능을 SDXL Turbo 기준 229%, SD Turbo 기준 120% 향상
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive
Microsoft가 ONNX Runtime으로 Hugging Face의 130,000개 이상 모델을 최적화해 Whisper-tiny 모델의 추론 레이턴시를 PyTorch 대비 74.30% 감소
Accelerating over 130,000 Hugging Face models with ONNX Runtime