Sorting Key와 PREWHERE 최적화를 통한 ClickHouse 데이터 스캔량 최소화 전략

Context

대규모 분석 데이터셋 처리 시 단순 WHERE 절 사용만으로는 물리적 데이터 읽기 비용을 완전히 제어하기 어려운 한계 존재. 불필요한 데이터 스캔으로 인한 CPU, Memory, Disk I/O 및 Network 대역폭 낭비가 쿼리 성능 저하의 주 원인으로 분석됨.

Technical Solution

• 정렬 키(Sorting Key) 중심의 테이블 설계로 데이터 물리적 배치와 쿼리 필터 조건을 일치시켜 데이터 스킵 효율 극대화
• PREWHERE 구문 도입을 통해 필터링 컬럼을 우선 로드하고 불필요한 행을 조기에 제거함으로써 Wide Table의 디스크 읽기 부하 감소
• 필터링 컬럼에 함수 적용을 배제하는 SARGable 쿼리 작성을 통해 인덱스 구조 활용 및 Full Scan 방지
• 다중 OR 조건 대신 IN 연산자를 사용하여 실행 계획의 효율성 및 쿼리 가독성 확보
• 시간 기반 필터링 및 Partitioning 전략을 결합하여 분석 대상 데이터 범위를 물리적으로 한정