Hybrid Retrieval과 KnowledgeAtom 구조를 통한 RAG 운영 부하 최소화

FLAMEHAVEN FileSearch: Why This RAG Engine Feels Different from the Usual Stack

Kwansub Yun2026년 4월 20일10분intermediate

AI 요약

Context

단순한 Vector Store 래퍼 중심의 기존 RAG 스택이 초래하는 높은 Operational Tax와 낮은 검색 정밀도 문제를 분석. 단순 조립식 구조로 인한 인프라 관리 부담과 검색 결과의 Attribution 불투명성을 해결해야 할 핵심 병목으로 정의.

Technical Solution

BM25와 Semantic Retrieval을 결합한 Hybrid Retrieval을 기본값으로 설정하여 정확도 향상
인덱싱 비용 최적화를 위해 mutation 발생 시 _bm25_dirty 플래그를 통한 Lazy Rebuild 경로 설계
File-level과 Chunk-level을 분리한 KnowledgeAtom 2단계 인덱싱 모델 도입으로 정밀한 Attribution 구현
urllib.parse.quote 기반의 절대 경로 URI 네임스페이스를 적용하여 파일명 충돌 방지 및 Retrieval Hygiene 확보
TextChunker(구조적 분할)와 KnowledgeAtom(임베딩 윈도우)을 분리한 2-Pass Chunking 파이프라인 구축
800자 윈도우, 120자 오버랩, 64토큰 최소 크기 제한을 적용한 Token-aware Chunking 로직 구현

실천 포인트

- RAG 설계 시 Semantic Search에만 의존하지 말고 BM25 기반 Hybrid Retrieval을 기본 전략으로 검토 - 인덱스 업데이트 비용 절감을 위해 실시간 갱신 대신 Lazy Update 메커니즘 도입 고려 - 단순 텍스트 조각이 아닌 고유 URI를 가진 Atom 단위 인덱싱을 통해 검색 결과의 추적 가능성 확보 - 문서의 논리적 구조(Heading, Paragraph)를 먼저 반영한 후 임베딩용 윈도우를 적용하는 2단계 분할 전략 적용

태그

#Hybrid Retrieval #Reciprocal Rank Fusion #BM25 #RAG #KnowledgeAtom

원문 읽기