Hybrid-Rerank 도입을 통한 Clinical Retrieval Recall@5 86% 달성

Context

포르투갈어 임상 텍스트 환경에서 단일 검색 방식의 한계 분석. BM25와 Dense Retrieval이 서로 다른 유형의 쿼리를 해결한다는 특성에 주목하여 상호 보완적 구조의 필요성 제기.

Technical Solution

• BM25와 BioBERTpt 기반 Dense Retrieval을 병렬 배치한 Hybrid Retrieval 아키텍처 설계
• 서로 다른 스코어 체계를 가진 검색 결과의 통합을 위해 Reciprocal Rank Fusion(RRF) 알고리즘 적용
• RRF 기반 후보군을 Cross-encoder로 재정렬하는 Hybrid-Rerank 파이프라인 구축을 통한 정밀도 향상
• McNemar's test를 통한 BM25와 Dense 모델 간의 상보적 성능 검증 및 통계적 유의성 확보
• 단순 LLM 프롬프트 방식이 아닌 n-gram overlap 기반의 Deterministic Citation Verification 로직 구현

Impact

• Recall@5 지표 기준 BM25-only(0.71) 대비 Hybrid-Rerank(0.86)로 성능 개선
• MRR 수치 0.64에서 0.79로 상승하며 검색 정확도 확보
• Citation F1 점수 0.82에서 0.93으로 증가하며 참조 무결성 강화

Key Takeaway

특정 도메인에서 단일 검색 모델의 성능 최적화보다 서로 다른 특성의 Retrieval 방식을 결합하는 Hybrid 전략이 더 효율적인 성능 향상을 제공함.