Networking 매출 199% 성장, AI 병목의 GPU-Network 전이 확인

Context

AI Training Cluster 규모가 50,000대 이상으로 확장됨에 따라 GPU FLOPs 중심의 연산 성능보다 Inter-GPU Bandwidth의 전송 속도가 전체 시스템의 결정적 병목 지점으로 작용하는 구조적 한계 발생.

Technical Solution

• GPU Matrix Multiplication 속도보다 Gradient 전송 속도가 중요해진 상황에 대응한 Network Topology 설계 최적화
• CUDA, NVLink, Spectrum-X, Blackwell Silicon을 통합한 Full-stack Moat 구축을 통한 하드웨어-소프트웨어 최적화 달성
• 단순 칩 설계를 넘어 네트워크 인프라 계층을 통합하여 데이터 전송 지연을 최소화하는 아키텍처 구현
• Compute layer의 한계를 극복하기 위해 Spectrum-X Ethernet 및 InfiniBand 채택 비중을 높인 인프라 구성
• Inference 워크로드 특성에 맞춘 Memory Bandwidth 확보 및 Node 간 모델 분산 전략 적용

Impact

• Data Center Networking 매출 14.8B 달러 기록 및 전년 대비 199% 성장
• Networking 성장률(199%)이 Compute 성장률(77%) 대비 2.6배 가속화
• GAAP Gross Margin 74.9% 달성으로 전년(60.6%) 대비 수익성 대폭 개선
• 분기 Free Cash Flow 48.6B 달러 및 60% FCF Margin 기록

Key Takeaway

시스템 스케일이 임계점을 넘어서면 개별 컴포넌트의 연산 성능보다 컴포넌트 간 데이터 이동 효율을 결정하는 Network Topology가 전체 시스템 처리량(Throughput)을 결정하는 Binding Constraint가 됨.