Graviton 기반 RG 인스턴스로 데이터 레이크 쿼리 속도 최대 2.4배 향상

Context

AI 에이전트 도입에 따른 쿼리 볼륨 폭증과 운영 비용 상승 문제 직면. 기존 RA3 아키텍처 내 데이터 웨어하우스와 데이터 레이크 간 분리된 쿼리 구조로 인한 효율성 저하 발생.

Technical Solution

• AWS Graviton 기반 RG 인스턴스 도입을 통한 vCPU당 가성비 및 연산 효율 최적화
• Integrated Data Lake Query Engine 설계로 단일 엔진 내 웨어하우스와 데이터 레이크 동시 처리
• Redshift Spectrum 의존성을 제거하고 클러스터 노드에서 데이터 레이크 쿼리를 직접 실행하는 구조로 변경
• VPC 경계 내 데이터 처리 유지 및 IAM 역할 통합을 통한 보안 및 네트워크 경로 단순화
• Elastic Resize 및 Snapshot and Restore 경로 제공으로 레거시 RA3 클러스터의 무중단에 가까운 마이그레이션 지원

Impact

• RA3 대비 데이터 웨어하우스 워크로드 처리 속도 최대 2.2배 향상
• vCPU당 비용 30% 절감
• Apache Iceberg 쿼리 속도 최대 2.4배, Apache Parquet 쿼리 속도 최대 1.5배 개선
• Spectrum 스캔 비용($5/TB) 제거를 통한 운영 비용 최적화

Key Takeaway

컴퓨팅 자원(Graviton)의 최적화와 데이터 처리 계층의 통합(Integrated Engine)을 통해 물리적 분리로 인한 오버헤드를 제거하고 TCO를 낮추는 설계 전략