Incremental Write 환경서 SQLite WAL 모드로 DuckDB 대비 쓰기 성능 10-50배 확보

Context

분석용 쿼리 성능 향상을 위해 DuckDB 도입을 고려하나, 단일 행 단위의 빈번한 쓰기 작업과 동시성 제어가 필요한 임베디드 워크로드에서의 한계점 분석.

Technical Solution

• WAL(Write-Ahead Logging) 모드 설정을 통한 Reader-Writer 간 Non-blocking 동시성 구조 확보
• Row-based 저장 구조를 활용하여 단일 행 INSERT 시 발생하는 Transaction Overhead 최소화
• 데이터 무결성 보장을 위해 25년 이상 검증된 SQLite의 Crash Recovery 메커니즘 활용
• 분석 성능 최적화를 위해 전체 마이그레이션 대신 DuckDB를 특정 집계 쿼리용 분석 레이어로만 ATTACH 하여 사용
• VectorDB의 블랙박스적 특성을 배제하고 FTS5 및 BM25 기반의 결정론적 검색 구조 설계