피드로 돌아가기
The RegisterInfrastructure
원문 읽기
AWS Graviton 및 AI Accelerator 기반 60억 달러 규모 인프라 고도화
Snowflake to burn $6B on AWS Graviton CPUs and AI accelerators
AI 요약
Context
GenAI 모델의 확산으로 인해 GPU 외에도 SQL 쿼리 및 Python 스크립트를 처리하는 CPU의 연산 성능이 전체 AI Agent 성능의 병목 지점으로 작용함. 기존 x86 기반 CPU 환경에서 AI 서비스 연결 마찰을 줄이고 연산 밀도를 높여야 하는 과제 직면.
Technical Solution
- Intel/AMD x86 아키텍처에서 Arm 기반 Graviton CPU로 컴퓨팅 자원 전환을 통한 전성비 및 연산 효율 최적화
- 192 Core 및 12-channel memory(8800 MT/s)를 갖춘 Graviton 5 도입으로 고밀도 워크로드 처리 능력 확보
- Cortex AI 플랫폼 내 Natural Language to SQL 변환 및 Sentiment Analysis 처리를 위한 GPU와 Graviton CPU의 하이브리드 구성 설계
- AWS 인프라와의 밀착 결합을 통해 Governed Data에 AI 서비스를 직접 연결하는 데이터 파이프라인 마찰 최소화
- AI 모델 추론은 GPU에서 수행하고, 이를 제어하는 도구 및 함수 호출 로직은 고성능 CPU 코어에서 처리하는 역할 분리 구조 채택
실천 포인트
1. AI Agent 도입 시 GPU 추론 속도 외에 CPU 기반의 Pre/Post-processing 병목 지점 확인
2. 대규모 코어 집적도가 필요한 워크로드의 경우 x86 대비 Arm 기반 인스턴스의 TCO 및 성능 밀도 검토
3. 데이터 거버넌스 영역과 AI 서비스 간의 네트워크 홉(Hop) 최소화를 위한 인프라 배치 전략 수립