Lock Contention 해결을 통한 ClickHouse 쿼리 지연 50% 감소

Context

2PiB 규모의 데이터를 처리하는 ClickHouse 기반 과금 파이프라인에서 파티셔닝 스키마 변경 이후 쿼리 지연 발생. I/O 및 메모리 지표는 정상이었으나, 데이터 Part 수 증가에 따른 Query Planning 단계의 병목 현상 심화.

Technical Solution

• MergeTreeData Mutex의 Exclusive Lock을 Shared Lock으로 교체하여 동시성 제어 최적화
• 쿼리마다 수행하던 전체 Part List 복제 프로세스 제거를 통한 오버헤드 감소
• Part Filtering 로직 개선으로 전체 리스트 스캔 없이 필요한 데이터만 선별하는 구조 설계
• Coordination Layer의 병목 지점을 식별하기 위한 Low-level Profiling 수행
• 쿼리 실행 전 단계인 Query Planning 단계의 CPU 점유율 45%를 차지한 filterPartsByPartition 함수 최적화