Apple이 Core ML을 통해 Stable Diffusion을 Apple Silicon에서 실행 가능하게 변환하여 MacBook Pro M1 Max에서 18초 내 이미지 생성 달성

Context

기존 Stable Diffusion은 주로 고사양의 GPU 기반 시스템에서 실행되었으며, Apple Silicon 기기에서 네이티브하게 실행할 수 있는 최적화된 구현이 부재했다. 개발자가 자신의 Mac, iPhone, iPad에서 생성형 AI 모델을 활용하려면 복잡한 변환 프로세스가 필요했다.

Technical Solution

• Stable Diffusion 모델을 Core ML 형식으로 변환: Hugging Face Hub에 사전 변환된 가중치(weights) 배포로 다운로드 가능하게 구성
• Attention 블록 구현 방식 제공: original (CPU/GPU 호환)과 split_einsum (CPU/GPU/Neural Engine 호환) 두 가지 변형 제공
• 모델 패키징 전략 분화: Python 추론용 ML Packages와 Swift 코드용 Compiled 모델로 구분하고, Compiled 모델은 iOS/iPadOS 호환성을 위해 UNet 가중치를 여러 파일로 분할
• 계산 단위 선택 지원: CPU, GPU, Apple Neural Engine (NE)의 개별 또는 조합 실행 지원으로 하드웨어별 최적화 가능
• 커스텀 모델 변환 지원: Apple의 변환 스크립트와 Dreambooth, Textual Inversion, 파인튜닝 모델 변환 가이드 제공

Impact

MacBook Pro (M1 Max, 32 GPU cores, 64 GB)에서 Stable Diffusion v1.4 기반 단일 이미지 생성에 18초 소요.

Key Takeaway

Cross-platform 머신러닝 배포 시 프레임워크별 네이티브 포맷으로 사전 변환하고 여러 실행 경로(Python/Swift)와 계산 백엔드(CPU/GPU/NPU)를 제공하면, 개발자가 다양한 환경에서 동일 모델을 손쉽게 적용할 수 있다.