피드로 돌아가기
원문 읽기
AWS News Blog
InfrastructureGraviton5 기반 C9g 도입으로 vCPU 성능 25% 향상 및 메모리 대역폭 최적화
Amazon EC2 C9g and C9gd instances powered by AWS Graviton5 processors are now available
AI 요약
Context
실시간 분석 및 AI 추론 등 Compute-intensive 워크로드의 증가로 인한 vCPU당 처리량과 메모리 접근 속도의 한계 발생. 특히 Agentic AI의 복잡한 추론 단계 수행을 위한 고성능 CPU 연산 자원과 대규모 캐시 확보가 필수적인 상황.
Technical Solution
- DDR5 8800MT/s DIMM 채택을 통한 클라우드 프로세서 중 최상위 수준의 메모리 속도 구현
- L3 Cache 용량을 5배 확대하여 데이터 대기 시간을 단축하고 Throughput을 극대화한 설계
- Rust 기반 Nitro Isolation Engine 도입을 통해 VM 간 메모리 및 I/O 장치 접근을 격리하는 보안 아키텍처 강화
- C9gd 인스턴스 내 Local NVMe SSD 탑재로 HPC 시뮬레이션 및 ML 추론을 위한 저지연 Scratch space 제공
- Instance Bandwidth Configuration(IBC) 적용을 통해 EBS와 VPC 네트워크 간 대역폭 할당을 25%까지 가변 조절하는 최적화 구조
- Nitro Hypervisor의 최소 API 셋을 통한 VM 상태 관리로 오버헤드 감소 및 격리 수준 향상
실천 포인트
- Agentic AI 및 CPU 기반 ML Inference 워크로드의 성능 병목 지점이 Cache Hit Rate인지 검토 - EBS-VPC 대역폭 불균형 발생 시 IBC 설정을 통해 워크로드 특성에 맞는 대역폭 재배분 적용 - 고성능 임시 저장 공간이 필요한 HPC/Ad-serving 엔진의 경우 C9gd의 Local NVMe SSD 활용 검토