Columnar Storage 기반 Append-only 설계 통한 대규모 분석 쿼리 최적화

Context

OLTP 데이터베이스의 행 기반 저장 구조로 인한 대용량 로그 및 메트릭 분석 시 성능 저하 발생. 수천만 건 이상의 데이터 스캔 및 실시간 Aggregation 처리 과정에서 발생하는 I/O 병목 해결 필요.

Technical Solution

• MergeTree 엔진 기반의 Columnar Storage 채택을 통한 스캔 데이터 최소화 및 압축 효율 극대화
• B-Tree 대신 Sparse Primary Index를 활용하여 대량의 데이터 범위 스캔 최적화
• 정렬 순서를 정의하는 ORDER BY 설계를 통해 물리적 데이터 배치와 쿼리 필터링 성능의 직접적 연계
• 월 단위의 Coarse-grained Partitioning 설계를 통한 데이터 세그멘테이션 및 관리 오버헤드 감소
• Go 언어 환경에서 database/sql 대신 Native API 사용 및 Batch Insert 도입으로 Ingestion Throughput 향상
• 반복적인 문자열 데이터에 LowCardinality 타입 적용으로 메모리 사용량 최적화 및 쿼리 속도 개선