34종 GPU 모델과 18개국 노드를 통합한 Workload-centric 오케스트레이션

Context

GPU 공급자의 파편화된 하드웨어 명명 규칙과 리전별 가용성 차이로 인한 배치 효율 저하 발생. VRAM 부족이나 노드 성능 저하를 제출 시점이 아닌 실행 중에 발견하는 Silent Failure 구조의 한계 존재.

Technical Solution

• 하드웨어 설정 기반이 아닌 Workload Type, Model Size, Optimization Goal 중심의 추상화 계층 설계
• VRAM 적합성, 가격, 레이턴시, 큐 깊이, Thermal State를 종합적으로 계산하는 실시간 Capacity Scoring 알고리즘 적용
• 제출 단계에서 VRAM 가용성을 즉시 검증하여 무한 대기를 방지하는 Explicit Fit Check 기반의 Admission Control 구현
• 노드 성능 저하 감지 시 수동 개입 없이 작동하는 자동 Requeue 메커니즘을 통한 High Availability 확보
• 다수 Provider(RunPod, Vast.ai, Lambda Labs 등)를 단일 실행 표면으로 통합하여 Provider-agnostic한 라우팅 구조 구축