Hugging Face의 Diffusers 라이브러리 v0.3이 Image-to-Image, Textual Inversion, Inpainting 파이프라인을 추가하고 VRAM 사용량을 3.2GB로 감소시키며 Mac OS 및 ONNX 지원으로 하드웨어 접근성 확대

Context

Stable Diffusion 출시 이후 커뮤니티로부터 이미지 기반 생성, 개인화된 모델 학습, 특정 영역 편집 등 다양한 기능 요청이 증가했으며, 높은 GPU 메모리 요구사항과 Mac OS 미지원으로 인한 사용 장벽이 존재했다.

Technical Solution

• Image-to-Image 파이프라인 추가: 입력 이미지와 텍스트 프롬프트를 결합하여 새로운 이미지 생성, StableDiffusionImg2ImgPipeline 클래스로 구현
• Textual Inversion 기능 도입: 3~5개 샘플 이미지로 개인화된 모델 학습 가능, 학습된 개념을 커뮤니티와 공유 가능 (출시 후 2일 내 200개 이상의 개념 공유)
• Inpainting 파이프라인 추가(실험 단계): 마스크 지정 영역만 Stable Diffusion으로 재생성, StableDiffusionInpaintPipeline 클래스로 구현
• GPU 메모리 최적화: attention_slicing() 메서드로 Stable Diffusion VRAM 사용량을 3.2GB로 감소, 추론 속도 10% 감소 트레이드오프
• Mac OS M1/M2 지원: PyTorch MPS 디바이스를 활용하여 native Mac 하드웨어에서 추론 실행 가능
• ONNX 내보내기 및 파이프라인 추가(실험 단계): StableDiffusionOnnxPipeline 클래스와 convert_stable_diffusion_checkpoint_to_onnx.py 스크립트로 ONNX 호환 하드웨어에서 실행 가능

Impact

Stable Diffusion의 VRAM 요구사항을 3.2GB로 감소시켰으며, 출시 후 2일 내 Textual Inversion 개념 200개 이상 커뮤니티 공유 달성.

Key Takeaway

확산 모델 라이브러리는 핵심 기능(파이프라인)의 모듈화와 함께 하드웨어 접근성 최적화(메모리 감소, 플랫폼 지원 확대)를 동시에 추진함으로써 개발자 채택률을 가속화할 수 있다.