Graviton 기반 Redshift RG 도입으로 쿼리 속도 7배 향상 및 비용 30% 절감

Context

AI Agent의 Natural Language Query 증가로 인한 쿼리 빈도 급증 및 인터랙티브한 워크로드 발생. 기존 RA3 인스턴스 구조로는 고빈도 소량 쿼리의 효율적 처리와 데이터 레이크 통합 쿼리 성능 확보에 한계 노출.

Technical Solution

• AWS Graviton 프로세서 기반 RG 인스턴스 도입을 통한 컴퓨팅 효율 극대화
• AI Agent의 Chain-of-reasoning 특성에 최적화된 고빈도 쿼리 처리 구조 설계
• 단일 엔진 기반의 Data Warehouse 및 Data Lake 통합 쿼리 실행 로직 구현
• Apache Iceberg 및 Parquet 포맷 최적화를 통한 스토리지 레이어 성능 병목 제거
• S3 Tables 및 Iceberg 오픈 테이블 포맷 채택으로 벤더 종속성 제거 및 데이터 이동성 확보

Impact

• 신규 쿼리 워크로드 처리 속도 최대 7배 향상
• 기존 RA3 패밀리 대비 성능 최대 2.2배 증가 및 vCPU당 비용 30% 절감
• Apache Iceberg 쿼리 성능 최대 2.4배, Apache Parquet 성능 최대 1.5배 개선

Key Takeaway

워크로드의 성격이 '대량 배치'에서 '고빈도 인터랙티브 쿼리'로 변화함에 따라, 전용 하드웨어 가속(Graviton)과 오픈 표준 포맷(Iceberg)을 결합하여 유연성과 성능을 동시에 확보하는 전략적 설계 필요.