ClickHouse JOIN 엔진 재설계 통한 1,450배 성능 향상 및 OOM 해결

Context

단일 Hash Join 알고리즘 의존과 Disk Spilling 부재로 인한 메모리 부족 및 OOM Crash 빈번 발생. Query Syntax 기반의 단순 Join 순서 결정 방식으로 인해 최적화되지 않은 실행 계획과 낮은 처리 성능이 지속된 구조적 한계 존재.

Technical Solution

• Grace Hash Join 도입을 통한 메모리 제약 환경 내 Disk Spilling 구현으로 OOM Crash 원천 제거
• Parallel Hash Join 기본 적용 및 CPU 코어 수에 따른 선형적 성능 확장 구조 확보
• Column Statistics 기반 Cost-based Optimizer 및 DPsize 알고리즘을 통한 최적 Join Order 자동 결정
• Equivalence-set Filter Pushdown 구현으로 Column Equivalence Class 간 Predicate 전파를 통한 스캔 데이터 최소화
• Runtime Bloom Filters의 Storage Layer 적용으로 Probe-side 데이터의 조기 필터링 수행
• Correlated Subquery Decorrelation을 통해 복잡한 서브쿼리를 효율적인 Join 구조로 자동 변환