Shared Expert 패턴 기반 Real-time Fact-checking 엔진으로 LLM Hallucination 해결

I Built a Multi-LLM Debate Engine That Fact-Checks Itself in Real Time

Suat2026년 4월 24일8분intermediate

AI 요약

Context

단순 다수결이나 요약 방식의 Multi-LLM 구조는 모델 간 상호 동조 현상인 Sycophancy로 인해 잘못된 정보를 강화하는 한계 존재. 특히 정교하게 조작된 Citation이 포함된 경우 하위 파이프라인에서 허위 사실을 진실로 오인하는 구조적 결함 발생.

Technical Solution

MoE의 Shared Expert 개념을 차용한 Validator 전담 에이전트 배치로 검증 로직 분리
[OK/WARN/FAIL] 상태 마커를 통한 정형화된 Fact-check 결과 생성 및 주입
Validator의 추론 과정은 제외하고 구조화된 결과값만 에이전트에게 전달하여 Validator를 피어(Peer)로 인식하는 부작용 방지
차수별(Round) 피드백 루프 설계를 통해 FAIL로 판명된 주장을 다음 프롬프트에서 명시적으로 금지
Web Search API를 연동하여 날짜, 숫자, URL 등 구체적 Claim에 대한 실시간 교차 검증 수행
4개 페르소나의 토론과 Validator의 검증이 반복되는 Multi-round Iteration 구조 설계

실천 포인트

- Multi-agent 설계 시 에이전트 간 상호 동조를 막기 위한 독립적 검증 레이어 확보 - LLM 피드백 제공 시 모호한 가이드 대신 'FAIL'과 같은 명시적 제약 조건을 프롬프트에 직접 주입 - 정성적 추론 결과보다 정량적/객관적 근거(URL, 날짜) 중심의 검증 파이프라인 구축

태그

#MoE #Shared Expert #Multi-Agent-System #Fact-Checking #Hallucination

원문 읽기