피드로 돌아가기
The RegisterInfrastructure
원문 읽기
Omni-Path 도입을 통한 400Gbps 대역폭 및 91% Scaling Efficiency 달성
Intel-born networking tech resurfaces as InfiniBand alternative for DoE supers
AI 요약
Context
Nvidia InfiniBand와 HPE Cray Slingshot 11 중심의 HPC 네트워크 시장에서 특정 벤더 의존성 및 AI 수요 폭증으로 인한 수급 병목 발생. 기존 DoE 시스템의 200Gbps 대역폭 한계를 극복하고 고성능 컴퓨팅 워크로드를 처리할 새로운 Interconnect 솔루션 필요.
Technical Solution
- Cornelis Networks CN5000-series 도입을 통한 400Gbps Lossless Interconnect 환경 구축
- PCIe 5.0 기반의 NIC 설계로 대역폭을 최적화하여 불필요한 PCIe Switch 통합 비용 및 복잡도 제거
- Intel 4세대 Xeon Scalable(Sapphire Rapids) 프로세서와 최적화된 전용 프로토콜 연동
- 네트워크 병목 최소화를 통한 Near Linear Performance Scaling 구조 설계
- 향후 PCIe Gen 6.0 대응 및 Ethernet 호환성을 갖춘 CN6000 로드맵을 통한 확장성 확보
Impact
- 네트워크 Scaling Efficiency 91% 달성으로 대규모 클러스터 병목 현상 해결
- 기존 DoE 표준인 200Gbps 대비 2배 향상된 400Gbps 데이터 전송 속도 확보
- 952개 Dell PowerEdge 노드의 효율적 통합 및 연산 성능 극대화
Key Takeaway
하드웨어 가속기나 프로세서의 세대 교체보다 Interconnect의 효율적 설계가 전체 시스템의 Scaling 성능을 결정짓는 핵심 병목 지점임을 증명함.
실천 포인트
- 클러스터 확장 시 컴퓨팅 파워보다 Interconnect Scaling Efficiency 지표를 우선 검토할 것 - 벤더 종속적 솔루션(InfiniBand 등) 외에 워크로드 특성에 맞는 Lossless Networking 대안을 비교 분석할 것 - PCIe 세대별 대역폭 캡(Cap)을 확인하여 NIC 및 스위치 선정 시 오버헤드를 최소화하는 구조를 채택할 것