Hugging Face가 VAE 디코딩을 원격 엔드포인트로 위임하는 기능을 Diffusers에 추가해 소비자 GPU의 메모리 부담 제거

Context

잠재 공간 확산 모델로 고해상도 이미지와 비디오를 합성할 때 VAE 디코더가 상당한 메모리를 소비한다. 이로 인해 사용자가 소비자 GPU에서 모델을 실행하기 어려워지며, 오프로딩을 사용할 경우 디바이스 전송 오버헤드로 인한 지연이 발생하고, 타일링은 최종 이미지 품질에 부정적 영향을 미친다.

Technical Solution

• huggingface-inference-toolkit을 수정하고 커스텀 핸들러를 적용하여 VAE 디코딩 원격 처리 인프라 구축
• remote_decode() 헬퍼 메서드를 diffusers.utils.remote_utils에 추가하여 원격 VAE 엔드포인트와의 상호작용 간편화
• Stable Diffusion v1.5, Flux, HunyuanVideo 등 다양한 모델에 대해 파이프라인에서 vae=None 파라미터로 로컬 VAE를 제외하고 원격 엔드포인트 호출
• Flux 모델의 경우 height와 width 파라미터를 추가로 전달하여 팩된 잠재 텐서 처리
• HunyuanVideo의 경우 mp4 형식으로 비디오 출력을 받아 로컬 파일 저장
• 여러 생성 요청을 큐에 대기시켜 현재 잠재 처리 중에 다음 요청을 미리 큐에 추가 가능하도록 설계

Key Takeaway

분산 처리 아키텍처에서 높은 리소스 비용을 가진 연산을 별도 원격 엔드포인트로 위임함으로써 클라이언트 메모리 제약을 제거하는 동시에 요청 큐잉을 통해 동시성을 향상시킬 수 있다.