Continuous Batching 기반 GPU 처리량 4배 향상 및 비동기 Job 아키텍처 설계

Context

전통적인 Synchronous Request-Response 구조로 인한 GPU 리소스 낭비 및 API Timeout 발생. 모델 가중치의 거대한 크기와 연산 집약적인 Diffusion 과정으로 인한 VRAM 부족 및 높은 인퍼런스 비용 문제 직면.

Technical Solution

• Request Layer와 Execution Layer를 Message Broker로 분리하여 트래픽 스파이크를 제어하는 Asynchronous Job-Queue-Worker 패턴 도입
• 모델 로딩 병목 해결을 위해 S3 기반 Global Store와 로컬 NVMe Cache를 결합한 Tiered Storage 구조 설계
• VRAM 효율 극대화를 위한 Quantization 및 Model Sharding 적용으로 Out-of-Memory(OOM) 리스크 최소화
• GPU 유휴 시간을 줄이기 위해 요청을 동적으로 슬롯에 배치하는 Continuous Batching 기법 적용
• Latent Diffusion(고성능 GPU)과 VAE Decoding(저사양 GPU/CPU) 단계를 분리하여 하드웨어 할당 최적화
• Sidecar 패턴을 통한 GPU Health 및 VRAM 모니터링 기반의 지능적 작업 라우팅 구현

Impact

• Continuous Batching 도입을 통한 처리량(Throughput) 2x~4x 증가
• NVMe 로컬 캐싱을 통한 모델 Cold Start 시간 및 Time to First Frame 단축

Key Takeaway

GenAI 인프라는 단순 API 서버가 아닌 분산 Task Scheduler 관점으로 접근해야 하며, Compute-intensive한 연산 특성에 맞춰 리소스 할당을 세밀하게 분리(Decoupling)하는 것이 비용 효율성과 확장성의 핵심임.