Hugging Face Diffusers 라이브러리가 1주년을 맞으며 DeepFloyd IF, SDXL, 텍스트-비디오, 텍스트-3D, 이미지 편집 파이프라인 추가 및 Consistency Models로 256x256 이미지 생성을 0.75초로 단축

Context

DALL-E 2, Imagen, Stable Diffusion 같은 고성능 텍스트-이미지 생성 모델이 대중의 관심을 받았으나 접근성이 제한되어 있었다. 이미지 생성 과정에서 손가락 개수 오류 같은 화질 문제와 모델 추론 속도가 느린 현상이 존재했다.

Technical Solution

• 모듈식 도구상자 구조 설계: 사용자가 확산 모델 컴포넌트를 커스터마이징하거나 즉시 사용 가능하도록 구성
• DeepFloyd IF 도입: 픽셀 레벨에서 직접 작동하고 대규모 언어 모델로 텍스트 인코딩, 3배 업스케일링 프로세스 지원
• Stable Diffusion XL(SDXL) 통합: 기존 Stable Diffusion 2 대비 매개변수 증가, 기본 모델과 세부사항 전문 리파이너 모델 조합
• 텍스트-비디오 파이프라인 추가: VideoFusion과 Text2Video-Zero 지원으로 프롬프트 기반 영상 생성 (24프레임 예제 제공)
• 텍스트-3D 생성 추가: OpenAI의 Shap-E 모델 통합으로 3D 자산 설계 기능 지원
• 이미지 편집 파이프라인 확장: 프롬프트 기반 편집, 개념 제거, 파노라마 생성 등 다중 방식 통합
• Consistency Models 도입: OpenAI의 Consistency Models로 반복 단계 감소를 통한 생성 속도 개선
• 추론 최적화 기법 적용: PyTorch 2.0 scaled_dot_product_attention(SDPA), torch.compile(), 슬라이스드 어텐션, 피드포워드 청킹, VAE 타일링, CPU/모델 오프로딩 지원
• 하드웨어 호환성 확대: ONNX, Apple Silicon MPS, Core ML 등 다중 형식 지원

Impact

256x256 해상도 이미지 단일 생성이 현대 CPU에서 0.75초(3/4초) 소요

Key Takeaway

모듈식 라이브러리 설계로 다양한 생성 모델(텍스트-이미지, 텍스트-비디오, 텍스트-3D, 이미지 편집)을 통합 인터페이스로 제공하면, 개발자의 학습 곡선을 낮추고 제품 엔지니어와 ML 엔지니어 간 역할 경계를 해소할 수 있다.