Zero-Hallucination 구현을 위한 5단계 Safety-First RAG 파이프라인 설계

Context

Vanilla RAG의 무분별한 답변 생성이 Fraud 및 Billing 이슈 등 고위험 티켓 처리 시 치명적인 오답을 유발하는 한계 직면. 단순 정보 제공보다 즉각적인 Human Escalation이 우선시되어야 하는 고객 지원 시스템의 안전성 확보 필요.

Technical Solution

• LLM 기반 Metadata 추출을 통한 티켓 분류 및 Risk Level 1차 스캔 수행
• LLM 호출 전 Deterministic Rule 기반의 Safety Gate를 배치하여 특정 키워드 및 민감 영역 탐지 시 즉시 Escalation 처리
• FAISS Index와 SentenceTransformer를 활용한 Local Vector Search로 지연 시간 단축 및 비용 최적화
• LLM 생성 답변의 근거를 원문과 대조하는 Grounding Check 단계를 통해 Hallucination 원천 차단
• Groq API Rate Limit 극복을 위해 Gemini를 Fallback 모델로 설정한 다중 LLM 전략 채택