RedNote가 dots.ocr 모델을 PyTorch에서 Core ML로 변환하여 Apple Neural Engine에서 온디바이스 OCR 실행 구현
SOTA OCR with Core ML and dots.ocr
Apple가 WWDC 24에서 Core ML의 Swift Tensor와 Stateful Buffers를 도입해 Mistral 7B(70억 파라미터 LLM)을 Mac에서 4GB 미만의 메모리로 실행 가능하게 변화
WWDC 24: Running Mistral 7B with Core ML
Apple이 Swift Transformers 라이브러리를 공개해 Llama 2, Falcon 7B 등 LLM을 iOS/macOS 기기에서 Core ML로 실행 가능하게 함
Releasing Swift Transformers: Run On-Device LLMs in Apple Devices
Apple이 Core ML에 6-bit palettization 양자화 기법을 도입해 Stable Diffusion의 메모리 사용량을 대폭 감소시키고 추론 속도를 향상
Faster Stable Diffusion with Core ML on iPhone, iPad, and Mac
Hugging Face가 Swift Diffusers 1.1 버전으로 Core ML 모델 도입 및 Neural Engine 자동 선택으로 Text-to-Image 생성 속도 최대 2배 향상
Swift 🧨Diffusers - Fast Stable Diffusion for Mac