피드로 돌아가기
InfoQAI/ML
원문 읽기
Hybrid Retrieval 및 RRF 도입을 통한 RAG 정밀도 극대화
Article: Why Vector Search Alone Isn't Enough: Hybrid Retrieval for RAG
AI 요약
Context
Vector Embedding 기반 검색의 근사치(Approximation) 특성으로 인해 버전 번호나 플래그 이름 같은 특정 엔티티 구분 시 정밀도 저하 발생. 특히 유사한 문맥 내 단어 하나로 결과가 갈리는 Runbook 검색 상황에서 잘못된 문서를 상위 랭킹으로 반환하는 구조적 한계 노출.
Technical Solution
- BM25 도입을 통한 희소 토큰 기반의 정확한 키워드 매칭 및 Precision 확보
- RRF(Reciprocal Rank Fusion) 적용으로 서로 다른 스코어 체계를 가진 Vector Search와 BM25 결과를 랭크 위치 기반으로 통합
- Bi-encoder의 한계를 극복하기 위해 쿼리와 문서 쌍을 joint-process 하는 Cross-encoder 기반의 Re-ranking 단계 설계
- 1차 Retrieval 단계에서 20~50개의 후보군을 선별한 후 Cross-encoder로 최종 정렬하는 계층적 파이프라인 구축
- 개념적 유사성과 텍스트 일치성을 동시에 고려하는 Hybrid Search 구조를 통한 검색 품질 최적화
실천 포인트
1. 특정 고유 명사나 버전/코드 매칭이 중요한 도메인인지 확인
2. Vector-only 파이프라인에 BM25를 추가하고 RRF로 결과 병합 적용
3. 상위 K개 결과의 정밀도가 낮을 경우 Cross-encoder 기반 Re-ranker 도입 검토
4. Re-ranker 도입 시 후보군 크기(20~50개)와 Latency(100ms 내외) 트레이드오프 분석