피드로 돌아가기
Dev.toAI/ML
원문 읽기
RAG Hallucination 8~15% 제거를 위한 독립적 Verification 레이어 도입
Stop Your RAG Pipeline From Hallucinating: A 15-Line Fix published
AI 요약
Context
기존 RAG 파이프라인은 정확한 컨텍스트를 제공함에도 불구하고 Fabrication under citation, Fact fusion, Confident extrapolation과 같은 정교한 Hallucination이 8~15% 확률로 발생함. 특히 생성 모델과 동일한 LLM을 이용한 Faithfulness 평가 방식으로는 이러한 미세한 오류를 탐지하는 데 한계가 있음.
Technical Solution
- Retrieve → Generate → Verify로 이어지는 3단계 파이프라인 구조 설계
- 생성된 응답을 개별 Atomic Claim 단위로 분해하여 분석하는 Decomposition 로직 적용
- 생성 모델과 독립된 별도의 Model, Prompt, Evidence Source를 사용하는 Verification 레이어 구축
- 추출된 각 Claim을 외부 웹 데이터 등 독립적 소스와 대조하여 Refuted 여부를 판별하는 검증 프로세스 수행
- 검증 결과에 따라 원문 반환, 재생성 요청, 또는 거부(Reject) 처리를 결정하는 Decision Logic 구현
실천 포인트
1. 생성 모델과 서로 다른 파라미터나 모델 제품군을 가진 독립적 Verifier를 구축했는가
2. 응답 전체가 아닌 Atomic Claim 단위로 쪼개어 개별 검증을 수행하는가
3. 내부 컨텍스트 외에 외부의 독립적인 데이터 소스를 통해 Grounding을 재확인하는가
4. 검증 실패 시 사용자에게 노출할 Fallback 전략(재생성, 거부 등)이 정의되어 있는가