Vulkan 기반 런타임 설계를 통한 RX 580 8GB 환경의 Flux 12B 및 LLM 구동 성공

Context

ROCm의 Polaris 아키텍처 지원 중단 및 DirectML의 OpaqueTensorImpl 메모리 접근 오류로 인한 AMD 구형 GPU의 AI 모델 실행 불가 상황. VRAM 8GB의 물리적 한계로 인해 SOTA 모델인 Flux 12B의 전체 로드가 불가능한 하드웨어 제약 존재.

Technical Solution

• GGML Vulkan 백엔드 기반의 stable-diffusion.cpp 네이티브 빌드를 통한 ROCm/CUDA 의존성 제거
• GPU VRAM(6.5GB)과 CPU RAM(9.3GB)을 분리 할당하는 Hybrid Memory Segmentation 설계로 VRAM 부족 문제 해결
• T5XXL 및 VAE 모듈을 CPU RAM으로 강제 오프로딩하는 --clip-on-cpu 및 --vae-on-cpu 옵션 적용
• VAE Tiling 기법 도입을 통한 고해상도 생성 시 발생하는 DeviceMemoryAllocation 오류 방지
• WSL2 Ubuntu 환경의 ECC RAM을 가상 VRAM으로 활용하여 Flux.1 Schnell 모델의 CPU 인퍼런스 안정성 확보
• NVMe 스토리지 도입을 통한 모델 로딩 병목 제거로 초기 구동 시간 단축

Impact

• LLM 인퍼런스 속도: CPU 단독 처리 대비 Vulkan 가속 적용 시 3~5 tps에서 15~16 tps로 약 3~5배 성능 향상
• SD 1.5 생성 속도: DirectML 기반의 불안정한 실행(450초 및 런타임 오류)을 Vulkan 네이티브 환경에서 72초로 단축
• 모델 로딩 시간: HDD 대비 NVMe 사용 시 25분에서 4분으로 약 84% 시간 절감
• Flux 1024x1024 생성: Xeon CPU와 WSL2 조합을 통해 약 24분 소요로 구동 가능 확인