Vector DB 없이 SQLite FTS5 기반으로 구현한 Zero-Cost RAG 아키텍처

Context

기존 RAG 구현 시 Vector Database, Embedding API, Chunking Strategy 등 복잡한 인프라 구축과 보일러플레이트 코드 작성이 강제되는 한계 존재.

Technical Solution

• Vector DB를 배제하고 SQLite FTS5 가상 테이블을 활용한 키워드 기반 검색 구조 설계
• Trigram Tokenizer 적용을 통한 언어 설정 없는 다국어(Thai, Chinese, Japanese 등) 지원 체계 구축
• 800자 이하의 Paragraph-aware Chunking 전략으로 컨텍스트 분할 및 인덱싱 효율 최적화
• LLM의 추론 능력을 활용하여 FTS5의 키워드 매칭 한계를 보완하는 Hybrid Retrieval 방식 채택
• 단일 SQLite 파일(~/.garudust/state.db) 내 상태 관리를 통한 인프라 복잡도 제거 및 배포 단순화

Key Takeaway

대규모 시맨틱 검색이 불필요한 도메인에서는 무거운 Vector DB 대신 가벼운 Full-Text Search와 LLM의 Reasoning을 결합하여 비용과 복잡도를 획기적으로 낮출 수 있음.