수십억 건의 데이터, Zero Loss로 달성한 SQL Server → Aurora 마이그레이션 전략

Context

수십억 행 규모의 금융 데이터베이스를 다운타임 없이 Aurora RDS로 이전해야 하는 과제. 엄격한 SOC 2 및 PCI DSS 규정 준수와 제한된 컷오버 시간 윈도우 내 완료가 필수적인 상황. 데이터 손실 제로 및 복제 지연(CDC Lag) 최소화가 핵심 요구사항.

Technical Solution

• 트래픽 완전 격리를 위해 각 클라이언트 VPC별 전용 라우팅 테이블을 가진 AWS Transit Gateway와 Dual VPN 터널 설계
• NAT 이후의 실제 공인 IP 주소를 기반으로 보안 그룹 및 네트워크 ACL을 설정하여 연결 타임아웃 문제 해결
• 리소스 경합 방지를 위해 수십억 행 규모의 대형 테이블 전용 CDC 복제 인스턴스와 일반 테이블용 인스턴스를 완전히 분리하는 Parallel DMS Isolation 구조 채택
• 데이터 무결성 확보를 위해 AWS SCT를 VPC 내부 EC2에서 실행하여 네트워크 지연을 제거하고 스키마 호환성을 사전 검증
• Aurora 타겟 엔드포인트에 initstmt=set foreign_key_checks=0 속성을 추가하여 병렬 로드 시 발생하는 외래 키 제약 조건 위반 해결
• Holt-Winters 예측 모델 기반의 DMS-PredictLagNet 프레임워크를 구축하여 CDC 지연 시간을 예측하고 자동 스케일링 수행

Key Takeaway

대규모 데이터 마이그레이션 시 단순한 툴 사용보다 리소스 격리와 네트워크 가시성 확보가 성패를 결정하는 핵심 설계 원칙임. 예측 가능한 모니터링 체계를 통해 불확실한 지연 이벤트를 관리 가능한 운영 프로세스로 전환하는 접근 방식이 중요함.