RRF 기반 Hybrid Search 도입으로 Keyword와 Semantic 쿼리 모두 대응하는 고정밀 RAG 설계

Context

Vector Search의 Semantic Similarity 의존성으로 인한 Exact Match 쿼리 처리 성능 저하 발생. BM25의 키워드 매칭 강점과 Vector Search의 맥락 이해 능력을 동시에 확보해야 하는 기술적 요구사항 대두.

Technical Solution

• Keyword 쿼리 대응을 위해 IDF 및 TF 기반의 BM25 알고리즘을 통한 정확한 용어 일치 검색 구현
• Semantic 쿼리 대응을 위해 Embedding 모델 기반의 Vector Search를 통한 개념적 유사도 검색 병행
• 서로 다른 스코어 체계를 가진 두 검색 결과의 통합을 위해 점수가 아닌 순위를 비교하는 RRF(Reciprocal Rank Fusion) 알고리즘 채택
• RRF 수식 내 상수 k(기본값 60)를 적용하여 상위 랭킹 문서의 과도한 지배력을 방지하고 결과의 공정성 확보
• EnsembleRetriever 구조를 통한 다중 Retriever 통합 및 가중치 조절 방식으로 최적의 문서 랭킹 산출
• 중국어 텍스트 처리를 위한 jieba 기반의 Word Segmentation 전처리 단계 추가로 BM25 검색 정확도 제고