Petabyte급 MySQL 데이터 Ingestion 플랫폼의 Zero Downtime 마이그레이션 성공

Context

파편화된 고객 소유 파이프라인으로 인한 운영 효율성 저하와 관리 복잡성 증대. Petabyte 규모의 Social Graph 데이터를 처리하는 환경에서 데이터 일관성 유지와 가용성 보장이 핵심 과제인 상황.

Technical Solution

• 분산된 파이프라인을 Centralized Self-managed Warehouse Service로 전환하여 인프라 관리 구조 통합
• Shadow -> Reverse Shadow -> Cleanup으로 이어지는 3단계 staged migration을 통한 점진적 전환
• Row Count 및 Checksum의 지속적 모니터링을 통한 신구 시스템 간 데이터 무결성 검증
• CDC 기반의 Full Dump와 Delta 테이블 구조를 활용하여 증분 데이터 처리 및 일관성 확보
• 레거시 시스템의 Snapshot Partition을 재사용하여 초기 마이그레이션 단계의 인프라 부하 최적화
• Reverse Shadow 단계에서 운영 소유권을 전환하되 즉각적인 Rollback 가능 구조를 유지하여 리스크 최소화