Hugging Face가 Swift Diffusers 1.1 버전으로 Core ML 모델 도입 및 Neural Engine 자동 선택으로 Text-to-Image 생성 속도 최대 2배 향상

Context

기존 Python 기반 Diffusers 라이브러리는 PyTorch의 mps 가속기를 사용하지만 Apple Neural Engine을 활용하지 못했으며, 커맨드라인 환경과 의존성 관리가 필요해 일반 Mac 사용자의 진입 장벽이 높았다.

Technical Solution

• PyTorch 모델을 Core ML 형식으로 변환: Hugging Face Hub의 SoTA Text-to-Image 모델들을 Core ML로 컨버팅해 Apple 하드웨어 최적화 활용
• 다중 컴퓨팅 장치 자동 선택: CPU, GPU, Neural Engine 중 최적 조합을 자동으로 결정하는 휴리스틱 구현 (M1 표준은 ANE 우선, M1 Max는 GPU 우선)
• 네이티브 Mac 앱 개발: Swift 및 SwiftUI로 구현하여 커맨드라인과 가상환경 제거
• 로컬 프라이빗 처리: 모든 이미지 생성을 로컬에서 처리해 외부 API 호출 및 큐 대기 제거
• Mac App Store 배포 및 오픈소스 공개: 공식 배포채널과 GitHub 저장소로 커뮤니티 기여 활성화

Impact

• M1 8GB 기준 Stable Diffusion 1.5 생성 시간 32.9초 → GPU 사용, M1 Max 64GB 기준 9초로 최대 3.6배 향상
• 버전 1.1에서 컴퓨터 구성에 따라 최대 2배 속도 향상
• M1 standard에서 ANE 사용 시 GPU 대비 1.75배 빠름 (18.8초 vs 32.9초)

Key Takeaway

Apple Silicon의 다양한 컴퓨팅 유닛(CPU, GPU, Neural Engine)을 효과적으로 활용하려면 하드웨어 특성별 성능 벤치마킹을 통해 동적 선택 로직을 구현해야 하며, 생산성 도구를 일반 사용자에게 배포할 때는 플랫폼 네이티브 기술(Core ML, SwiftUI)과 오픈소스 전략으로 접근성과 커뮤니티 참여를 동시에 확보할 수 있다.