MySQL OLTP 한계 극복을 위한 ClickHouse Columnar 기반 분석 아키텍처 전환

Context

Row-based 저장 구조를 가진 MySQL의 분석 쿼리 성능 저하 및 대규모 Aggregation 처리 시 발생하는 리소스 병목 현상 발생. 트랜잭션 처리와 분석 부하의 분리를 통한 시스템 안정성 확보 및 쿼리 응답 속도 개선 필요.

Technical Solution

• OLTP와 OLAP의 역할 분리를 통한 MySQL-ClickHouse 하이브리드 아키텍처 설계
• MySQL Table Engine를 활용해 중간 파일 생성 없이 ClickHouse 내부에서 직접 데이터를 복제하는 효율적 Migration 구현
• CDC(Change Data Capture) 패턴 기반의 Debezium 및 Kafka 도입을 통한 Near Real-time 데이터 동기화 파이프라인 구축
• MergeTree Engine 및 Sorting Index 설계를 통한 대규모 데이터셋의 스캔 속도 최적화
• CSV Export/Import 방식을 통한 소규모 또는 일회성 이관 비용 최소화