피드로 돌아가기
My Support Bot Kept Making Stuff Up — Here's How I Fixed It
Dev.toDev.to
AI/ML

Similarity Gate 기반 RAG 도입으로 Hallucination 제거 및 신뢰도 확보

My Support Bot Kept Making Stuff Up — Here's How I Fixed It

zhongqiyue2026년 6월 7일6분intermediate

AI 요약

Context

LLM 기반 고객 지원 봇의 무분별한 Hallucination으로 인한 사용자 신뢰 저하 발생. Prompt Engineering 및 Temperature 튜닝만으로는 텍스트 생성기의 구조적 한계인 '지식 부재' 문제를 해결하는 데 실패함.

Technical Solution

  • Retrieval-Augmented Generation(RAG) 구조로 전환하여 LLM의 기억력이 아닌 외부 지식 검색 기반 응답 체계 구축
  • FAISS Vector Index를 활용하여 200~500자 단위의 텍스트 Chunk에 대한 Embedding Similarity 검색 구현
  • Top 1 Chunk의 Similarity Score가 0.75 이상일 때만 컨텍스트를 주입하는 'Similarity Gate' 로직 설계
  • 임계값 미달 시 LLM 호출을 완전히 차단하고 즉시 Human Agent로 Fallback 시키는 안전 장치 마련
  • Chunking 전략을 단순 단락 구분에서 300자 길이 및 50자 Overlap 구조로 변경하여 검색 컨텍스트 유지력 강화
  • Sentence-Transformers의 all-MiniLM-L6-v2 모델을 통한 효율적인 벡터 연산 수행

실천 포인트

1. Vector Search의 한계를 보완하기 위해 BM25와 Embedding을 결합한 Hybrid Search 검토

2. 도메인 특화 용어 인식을 위해 Generic 모델 대신 Fine-tuned Embedding 모델 적용 고려

3. Chunking 시 의미 단절을 방지하기 위한 적절한 Overlap 구간 설정

4. RAG 파이프라인 업데이트 시 Regression 방지를 위한 정답 셋 기반의 Automated Evaluation 구축

태그

#FAISS#Embedding#Similarity Gate#RAG#Hallucination
원문 읽기