ClickHouse 기반 Star Schema 도입으로 Denormalization 제약 해소 및 Sub-second Join 구현

Context

과거 OLAP 시스템의 Join 성능 한계로 인해 p99 Latency 달성을 위한 과도한 Denormalization 및 One Big Table 전략이 강제됨. 이로 인해 데이터 중복에 따른 Storage 비용 증가와 Dimension 업데이트 시 발생하는 파티션 재작성 오버헤드 및 스키마 유연성 저하 문제가 발생함.

Technical Solution

• Vectorized Query Execution 및 Memory-efficient Join 알고리즘 도입을 통한 연산 효율 극대화
• Grace Hash Join 적용으로 메모리 부족 시 Disk Spill을 통한 OOM(Out-of-Memory) 장애 방지
• Bloom Filter Pushdown 및 Runtime Filter를 활용한 스캔 데이터 사전 제거 및 I/O 최적화
• Statistics-based Join Reordering으로 테이블 크기에 최적화된 Join 순서 자동 결정
• Broadcast Join 및 Parallel Hash Join의 전략적 선택을 통한 데이터 셔플링 비용 최소화
• Materialized View 기반의 사전 집계를 병행하여 무거운 Fact Table 패턴의 쿼리 속도 향상