LLVM JIT와 Vectorized Execution 기반 ClickHouse의 6배 성능 가속

Context

기존 데이터베이스의 Bytecode Interpreter 방식은 튜플마다 Switch 문을 통한 디스패칭이 발생하여 CPU 병목을 유발함. 특히 대규모 데이터 집계 시 범용적인 실행 엔진의 오버헤드로 인해 쿼리 처리 속도가 저하되는 한계가 존재함.

Technical Solution

• LLVM JIT Compilation을 통한 쿼리별 Native x86-64 명령어 생성 및 실행으로 인터프리터 오버헤드 제거
• 65,536개 값 단위의 Vectorized Execution 구조 설계로 SIMD 명령어 활용 및 CPU 캐시 효율 극대화
• LSM-style MergeTree 저장소와 Sparse Index(8192행당 1개) 채택을 통한 인메모리 인덱스 유지 및 스캔 최적화
• 열 기반 압축(Column-by-column Compression)을 통한 저카디널리티 데이터의 저장 공간 효율성 확보
• OLTP와 OLAP의 물리적 분리 및 CDC(Change Data Capture) 파이프라인 구축을 통한 리소스 경합 해소
• Wasmtime 기반 WebAssembly UDF 도입으로 Rust/Go 언어를 활용한 고성능 사용자 정의 함수 확장

Impact

• 1억 건의 행에 대한 GROUP BY 쿼리 수행 시 처리 시간 12초에서 2초로 6배 단축
• 복합 컬럼 GROUP BY 및 표현식 처리 시 LLVM JIT 적용으로 6~10배의 성능 향상 달성
• Sharded Map Storage 도입을 통한 룩업 속도 2~49배 개선

Key Takeaway

단일 DB를 통한 HTAP 구현보다 OLTP와 OLAP를 분리하고 CDC로 연결하는 Composable Stack이 비용, 유연성, 확장성 측면에서 유리함. 특히 AI Agent와 같이 쿼리 생성 빈도가 높은 환경에서는 데이터베이스 브랜칭 전략과 특화된 분석 엔진의 조합이 필수적임.