Docker Model Runner가 NVIDIA DGX Station 지원으로 로컬 AI 개발 환경을 데이터센터 수준으로 확장하다

Context

기존 NVIDIA DGX Spark는 GB10 Grace Blackwell Superchip 기반 128GB 통합 메모리와 273 GB/s 대역폭을 제공했다. 데스크톱 환경에서 AI 모델 실행이 가능해졌으나, 대형 모델 실행에는 제약이 있었다. Docker Model Runner가 DGX Spark만 지원하여 확장성에 한계가 있었다.

Technical Solution

• NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip을 DGX Station에 적용했다
• 72코어 NVIDIA Grace CPU와 Blackwell Ultra GPU를 NVLink-C2C로 연결했다
• Docker Model Runner가 DGX Station을 지원하여 같은 Docker 명령어로 모델 실행이 가능하다
• NVIDIA MIG 기술로 Blackwell Ultra GPU를 최대 7개 격리 인스턴스로 분할한다
• Docker Model Runner의 컨테이너화된 아키텍처와 결합하여 팀 공유 AI 개발 노드로 활용한다

Impact

GPU 메모리가 128GB에서 252GB로 증가했다. 메모리 대역폭이 273 GB/s에서 7.1 TB/s로 약 26배 향상했다. 총 통합 메모리가 128GB에서 748GB로 확장되었다. 네트워킹 대역폭이 200 Gb/s에서 800 Gb/s로 4배 증가했다.

Key Takeaway

하드웨어 성능이(transformative) 변화의 절반이고, Docker Model Runner가 나머지 절반을 채운다. 동일한 Docker 명령어 체계를 유지하면서 하드웨어 성능을 활용하는 것이 핵심 설계 원칙이다.