피드로 돌아가기
The RegisterAI/ML
원문 읽기
128GB Unified Memory 기반 Grace Blackwell SoC의 PC 이식
Nvidia's Grace Blackwell superchips are officially coming to the PC with RTX Spark notebooks
AI 요약
Context
기존 모바일 PC 환경의 CPU-GPU 분리 구조로 인한 메모리 병목 현상 발생. 고성능 AI 워크로드 처리를 위해 서버급 실리콘의 소비자용 폼팩터 전환 필요성 증대.
Technical Solution
- Armv9 CPU와 Blackwell GPU를 단일 칩에 통합한 SoC 아키텍처 설계
- CPU와 GPU가 128GB 메모리 풀을 공유하는 Unified Memory 구조 채택으로 데이터 전송 지연 제거
- FP4 연산 최적화를 통한 최대 500 teraFLOPS 성능 구현 및 Sparsity 적용 시 1 petaFLOP 달성
- 서버급 DGX OS에서 Windows OS로의 런타임 환경 전환을 통한 상용 소프트웨어 호환성 확보
- DLSS 기반 AI 업스케일링 기술을 통합하여 1440P 해상도에서 100 FPS 게이밍 성능 구현
Impact
- 120B 파라미터 규모의 LLM 로컬 구동 가능
- 90GB 이상의 메모리를 요구하는 고해상도 3D 렌더링 처리
- 12K 고해상도 비디오 편집 및 AI 비디오 생성 워크플로우 지원
Key Takeaway
서버급 Unified Memory 아키텍처를 엣지 디바이스로 확장하여 데이터 이동 비용을 최소화하고 LLM 추론 효율을 극대화한 설계 전략
실천 포인트
1. 대규모 파라미터 모델 로컬 추론 시 Unified Memory 기반 하드웨어 가속 검토
2. FP4 등 저정밀도 연산 최적화 및 Sparsity 지원 여부에 따른 성능 벤치마크 수행
3. 고해상도 데이터 처리 시 CPU-GPU 간 데이터 복사 오버헤드 제거를 위한 메모리 공유 구조 분석