Hybrid Search 도입으로 검색 Recall 30%에서 90% 이상으로 개선

Context

Dense Vector Search 기반의 RAG 시스템에서 고유 명사 및 희귀 토큰에 대한 검색 정확도 저하 문제 발생. 임베딩 모델이 학습하지 못한 최신 제품명이나 내부 코드 등의 Exact-token matching 실패로 인한 검색 누락 확인.

Technical Solution

• Dense Vector의 Semantic Similarity와 BM25의 Token-overlap scoring을 결합한 Hybrid Search 구조 채택
• Reciprocal Rank Fusion(RRF) 알고리즘을 통한 결과 병합으로 가중치 튜닝 없이 최적의 랭킹 도출
• Qdrant의 Sparse Vector field를 추가하여 인덱싱 단계부터 Dense/Sparse 벡터를 동시 저장하는 구조 설계
• RRF의 Parameterless 특성을 활용해 개별 검색기의 점수 정규화 및 가중치 설정 비용 제거
• Application layer에서 BM25 인덱스를 별도로 운영하여 Vector DB의 기능 제약을 극복하는 Fallback 전략 수립