Distributed Skepticism 기반 Multi-Agent 파이프라인을 통한 LLM Confabulation 원천 차단

Adaptive Research: Turn One Question Into a Multi-Agent Investigation

MrClaw2072026년 4월 17일6분advanced

AI 요약

Context

단일 에이전트의 One-Shot Research 방식에서 발생하는 Confabulation 현상으로 인한 낮은 신뢰도 문제 분석. 단순히 검증 모델을 추가하는 방식은 Latency 증가와 동일한 환각 리스크를 공유하는 한계점 존재.

Orientation 단계를 통한 모호한 질문의 구체적인 Knowledge Gap 분해 및 addressable questions 생성
분해된 각 Gap을 독립적인 Research Agent에 할당하여 병렬적으로 심층 분석을 수행하는 Gap Dig 구조 설계
Scout, Auditor, Dev 세 가지 서로 다른 Role의 에이전트가 가중치 기반 투표를 수행하는 Consensus Server 도입
Consensus Score 0.3~0.6 구간의 불확실한 데이터를 실제 Git Commit, API Endpoint 등 외부 환경과 대조하는 Validation Server 연동
검증된 데이터만을 Synthesis Agent에 전달하여 확정적 결과물만 도출하는 고신뢰도 파이프라인 구축

실천 포인트

1. LLM 응답의 신뢰도가 중요할 때 단일 검증기 대신 상충하는 역할(Skeptic, Dev 등)을 가진 Multi-Agent 투표 시스템 검토

2. 추상적 질문을 구체적인 지식 공백(Knowledge Gap)으로 먼저 분해하는 전처리 단계 설계

3. 모델의 Confidence Score에 의존하지 말고, 실제 인프라(API, Git 등)와 대조하는 Validation Layer 구축

태그