$3 예산으로 LLM Hallucination을 잡는 Search-then-Generate 패턴

How to verify LLM claims with a $3 search budget

dodou2026년 6월 28일9분intermediate

AI 요약

Context

LLM이 학습 데이터의 Knowledge Cutoff로 인해 과거 정보에 기반한 confident hallucination을 생성하는 문제 발생. 단순 RAG 구조에서도 모델이 검색 결과 없이 학습 데이터의 패턴 매칭에 의존하여 잘못된 사실을 확신 있게 답변하는 한계 존재.

Technical Solution

Verify-before-Generate 구조를 통한 2-Phase 파이프라인 설계
Phase 1에서 SerpBase API를 호출하여 Live Google Data(Organic results, Knowledge Graph, PAA)를 사전 확보
Phase 2에서 확보된 검색 컨텍스트를 LLM에 주입하여 생성 단계의 근거로 활용
"정보 부재 시 추측 금지" 및 "출처 URL 명시"를 강제하는 System Prompt 설계를 통한 Grounding 강화
Python Standard Library 기반의 경량 Glue Code 구현으로 외부 SDK 의존성 제거 및 이식성 확보
request_id 및 credits_charged 필드를 활용한 각 검증 단계의 Audit Trail 구축

실천 포인트

1. LLM 답변 생성 전 Live Search API를 통한 사실 확인 단계 추가

2. 검색 결과 내 Organic, Knowledge Graph, People Also Ask 등 다양한 데이터 소스 통합

3. '추측 금지'와 '출처 표기'를 명시한 최소한의 System Prompt 적용

4. API 응답의 request_id를 로그에 기록하여 검증 과정의 추적성 확보

태그

#SerpBase #RAG #Grounding #LLM Hallucination #Search-then-Generate

원문 읽기