GPU Utilization 30-45% 한계 극복을 위한 K8s 스케줄링 재설계

Context

Stateless CPU 기반의 기본 Kubernetes Scheduler가 GPU Topology 및 NVLink 대역폭을 인식하지 못해 발생하는 리소스 낭비 상황. Pod 단위 Bin-packing 방식의 한계로 인한 GPU Stranded Memory 발생 및 H100 SXM5 등 고성능 노드의 하드웨어 성능 활용 저하.

Technical Solution

• Gang Scheduling 구현을 위한 Volcano 도입을 통한 PyTorch/MPI 잡의 원자적 배치 및 큐 기반 공정성 확보
• NVIDIA KAI Scheduler 기반의 Bin-packing 및 Preemption 적용으로 Training-Inference 혼합 워크로드 최적화
• NVIDIA MIG(Multi-Instance GPU) 활용을 통한 물리 GPU의 최대 7개 격리 인스턴스 분할 및 Multi-tenant 메모리 격리 구현
• vLLM의 PagedAttention 및 Continuous Batching 도입을 통한 GPU Throughput 극대화 및 Replica 수 최적화
• Karpenter의 GPU-aware Consolidation 정책을 통한 Spot Instance 기반의 비용 효율적 Autoscaling 체계 구축
• Prefill-Decode 분리 아키텍처 설계를 통한 Heterogeneous Node Pool 구성 및 100ms 미만 SLA 달성

Impact

• vLLM 도입으로 정적 배치 대비 GPU Throughput 2~4배 향상
• A100 80GB 노드 기준 단일 GPU 내 최대 7개 독립 인퍼런스 엔드포인트 운영 가능
• 30-45% 수준의 저조한 GPU Utilization 개선을 통한 인프라 비용 절감

Key Takeaway

AI 워크로드는 일반 서비스와 달리 하드웨어 토폴로지에 종속적이므로, Generic Scheduler를 넘어선 GPU-aware Layer와 하드웨어 수준의 파티셔닝 전략이 필수적인 설계 원칙임.