피드로 돌아가기
Dev.toAI/ML
원문 읽기
Naive RAG 한계 극복을 위한 Hybrid Search 및 Re-ranking 기반 Contextual Retrieval 설계
Beyond Vector Search: Mastering Contextual Retrieval for LLMs
AI 요약
Context
단순 Cosine Similarity 기반의 Naive RAG가 가진 Semantic Search 한계와 긴 컨텍스트 내 정보 손실인 Lost in the Middle 현상 발생. 단순 Chunking 방식으로는 복잡한 엔터프라이즈 요구사항을 충족하는 정밀한 정보 추출에 제약 존재.
Technical Solution
- BM25 Keyword Search와 Vector Search를 결합한 Hybrid Search 도입으로 정확한 용어 매칭 보장
- Cross-Encoder 기반 Re-ranking 프로세스를 통해 초기 검색 결과의 연관성을 재평가하여 Precision 향상
- Embedding 전 단계에서 Metadata 및 문서 요약을 추가하는 Contextual Enrichment로 Chunk의 글로벌 문맥 인지력 강화
- 초기 Top-k 검색 후 고성능 랭킹 모델을 통해 최적의 컨텍스트만 LLM에 전달하는 다층 필터링 구조 설계
- Chunk Size 튜닝보다 Retrieval Pipeline의 구조적 개선에 집중한 검색 정밀도 최적화 전략 채택
실천 포인트
1. 단순 벡터 검색 외에 BM25 기반 키워드 검색 병행 여부 검토
2. Cross-Encoder를 활용한 Re-ranking 단계 추가로 정밀도 개선 시도
3. 개별 Chunk에 문서 전체의 컨텍스트를 부여하는 Enrichment 프로세스 구축
4. LLM 컨텍스트 윈도우 크기 확대보다 검색 단계의 Precision 지표 관리