144GB HBM3e 탑재, 범용 서버 호환성 확보한 MI350P 출시

Context

기존 고성능 GPU가 OAM 모듈 기반 8개 묶음 구성으로만 제공되어 일반 서버 플랫폼과의 호환성 결여. 고비용의 특수 인프라 구축 부담으로 인해 기업의 on-prem AI 도입 진입 장벽 발생.

Technical Solution

• 기존 MI350X의 설계를 최적화하여 600W 전력 소모의 Dual-slot PCIe Form-factor로 재설계
• HBM3e 4개 스택 배치를 통한 144GB VRAM 및 4TB/s의 Memory Bandwidth 확보
• 19인치 표준 랙 서버의 Air-cooling 환경에서 작동 가능한 Thermal Design 적용
• PCIe Gen 5 인터페이스 채택으로 범용 서버 호환성을 높인 128GB/s Host 통신 구조 설계
• Infinity Fabric 대신 표준 PCIe 통신을 사용함으로써 하드웨어 도입 유연성 증대

Impact

• FP8 기준 Nvidia H200 대비 Peak Performance 약 38% 향상
• RTX Pro 6000 대비 Peak FLOPS 2.3배, Memory Bandwidth 2.5배, VRAM 50% 증설
• 실측 성능(Delivered) 기준 BF16 713 TFLOPS, FP8 1529 TFLOPS 달성

Key Takeaway

최상위 성능의 특수 폼팩터와 범용 PCIe 폼팩터 간의 Trade-off를 통해 시장 세그먼트를 확장하는 전략적 하드웨어 설계 사례