Make Your Queries 10x Faster with GBase 8a Rough Index

Context

동일한 SQL 쿼리가 때로는 빠르고 때로는 느린 문제가 GBase 8a 빅데이터 분석 환경에서 발생했다. 쿼리 성능이 데이터 정렬 상태와 인덱싱 메커니즘에 따라 크게 변동되는 상황이 있었다.

Technical Solution

• Rough Index 도입: 블록 단위(64KB 또는 128KB)로 최솟값과 최댓값을 저장하는 경량 인덱싱 메커니즘 구현
• 블록 프루닝 활성화: WHERE 절 조건으로 최댓값이 조건 이하인 블록을 스캔 대상에서 제외
• 데이터 정렬 전략: 로드 전 자주 필터링되는 열 기준으로 입력 파일을 사전 정렬
• 인덱스 재구축: ALTER TABLE orders REBUILD ROUGH INDEX 명령으로 삽입/업데이트 이후 인덱스 효율성 회복
• 범위 필터 최적화: >, <, BETWEEN 같은 범위 조건에 우선 적용하고, IN 리스트나 !=는 효과 제한

Impact

• 데이터 정렬 상태가 양호할 때 I/O 작업 90% 이상 감소
• 쿼리 응답 시간 5~10배 향상
• 추가 하드웨어 없이 성능 개선

Key Takeaway

GBase 8a 컬럼 스토리지 환경에서 Rough Index는 블록 단위의 min/max 정보를 활용해 I/O 작업을 최소화하는 내장 기능이므로, 데이터 로드 단계에서 필터 열 기준 정렬과 범위 쿼리 활용으로 블록 프루닝 효율을 극대화할 수 있다.