RRF 기반 Hybrid Retrieval을 통한 Vector Hallucination 해결 및 정밀도 확보

Context

Semantic Vector Search의 고유 특성으로 인한 구체적인 식별자 및 팩트 기반 데이터 검색의 정확도 저하 문제 발생. 유사한 임베딩 값으로 인해 엉뚱한 문서를 반환하는 Vector Hallucination 현상이 시스템 신뢰성을 저하시키는 병목 지점으로 작용.

Technical Solution

• Dense Channel과 Sparse Channel을 병렬로 운영하는 Two-Channel Retrieval 구조 설계
• Semantic 의미 파악을 위한 Vector Index 기반의 Dense Search 수행
• 정확한 키워드 및 식별자 매칭을 위한 BM25 기반의 Sparse Search 병행
• 서로 다른 스코어 체계를 가진 두 채널의 결과를 통합하기 위한 Reciprocal Rank Fusion(RRF) 알고리즘 적용
• RRF를 통한 재랭킹 과정으로 의미적 맥락과 문자열 일치도를 동시에 확보한 단일 결과 셋 생성
• 도메인 특성에 따라 키워드와 벡터 채널의 가중치를 조정하는 튜닝 프로세스 도입