DuckDB, 1억 건 문서 인덱싱 시간 38분 달성 및 저장 공간 3배 절감

Context

1억 건 규모의 대규모 텍스트 데이터를 처리하는 Full-Text Search(FTS) 환경에서 인덱스 빌드 속도, 쿼리 지연 시간, 메모리 효율성 간의 Trade-off 분석 필요. 기존 RDBMS 기반 GIN 인덱스의 I/O 오버헤드와 전용 검색 엔진의 과도한 메모리 점유 문제를 해결하기 위한 최적의 아키텍처 탐색.

Technical Solution

• Columnar I/O 및 Pipelined Tokenization을 통한 데이터 이동 최소화로 인덱스 빌드 속도 최적화
• Parquet 파일에서 필요한 인덱스 컬럼만 읽어들이는 구조를 통한 I/O 효율성 극대화
• 압축 Columnar Storage 설계를 적용하여 검색 인덱스의 디스크 점유 공간 최소화
• Levenshtein distance 기반 Fuzzy Match 처리 시 Columnar Scan 아키텍처를 활용한 처리 속도 향상
• OLTP 통합 환경의 증분 업데이트는 GIN Index의 Row-based 갱신 메커니즘을 통해 처리
• Typo-tolerant 랭킹 최적화를 위해 Meilisearch의 전용 인덱싱 엔진 활용