Similarity 기반 검색 한계를 극복하는 Evidence Check 아키텍처 설계

Your RAG Retrieved the Right Documents but Still Gave the Wrong Answer

mofuteq2026년 6월 19일2분intermediate

AI 요약

Context

Retrieval 성능 향상을 위한 Reranker 및 Embedding 모델 교체에도 불구하고 발생하는 오답 생성 문제 분석. Similarity 기반 검색이 주제의 유사성만 판단할 뿐, 정답 도출을 위한 실제 Fact 포함 여부를 검증하지 못하는 구조적 한계 노출.

Technical Solution

Retrieval 결과물을 단순 증거가 아닌 후보군(Candidate Material)으로 정의하는 관점 전환
Retrieval과 Generation 사이에 명시적인 Evidence Check 단계 도입
검색된 텍스트 내에 답변에 필요한 핵심 Fact가 존재하는지 검증하는 필터링 로직 설계
증거 불충분 판단 시 추측성 답변을 배제하고 Abstain(응답 거부) 처리하는 메커니즘 구축
관련성(Relevance)과 충분성(Sufficiency)을 분리하여 신뢰 가능한 Production RAG 구조 확보

실천 포인트

1. Retriever의 Similarity Score가 높더라도 Generation 결과가 틀린 사례를 수집하여 Evidence Gap 분석

2. 검색 결과와 생성 답변 사이의 'Fact 검증 레이어' 추가 검토

3. 모델이 모르는 내용에 대해 confident guess를 하지 않도록 Abstain 조건 설정

태그

원문 읽기