LLM-free 결정론적 파이프라인 통한 FACT-INFERENCE 엄격 분리

How to make an AI research agent label facts vs inferences — a deterministic provenance pipeline

John2026년 6월 22일5분advanced

AI 요약

Context

LLM이 추출한 정보와 스스로 추론한 결론을 동일한 확신도로 출력하여 발생하는 Hallucination 문제 분석. 프롬프트 기반의 제어는 확률적 특성으로 인해 일관성이 부족하며, 신뢰할 수 있는 근거 기반의 정보 분류 체계가 부재한 상황임.

LLM의 역할을 텍스트 추출 및 요약으로 한정하고, 판단 및 레이블링은 Deterministic Code가 수행하는 구조적 분리 설계
2개 이상의 독립적 도메인 소스 교차 검증 또는 공식 API 확인 시에만 FACT 레이블을 부여하는 Rule-based Gate 도입
PLAN → HARVEST → NORMALIZE → CORROBORATE → SCORE → RENDER로 이어지는 6단계 파이프라인을 통해 각 단계를 독립적으로 테스트 가능한 구조 구축
처리 순서에 따른 결과 변동을 방지하기 위해 Score를 Claim과 Evidence의 Pure Function으로 정의하여 Reproducibility 확보
검색 비용 최적화를 위해 Broadcast 방식이 아닌, 결과 부족 시 상위 엔진으로 확장하는 Escalation 기반 Multi-path Harvest 전략 적용
데이터의 확인 날짜를 추적하여 임계값 초과 시 Stale 상태로 표시하고, 찾지 못한 정보는 Gap List로 명시하는 투명성 강화

실천 포인트

1. LLM에게 신뢰도 점수(Confidence Score)를 요청하는 대신, 코드 기반의 정량적 검증 로직을 구축했는가?

2. 소스 수 산정 시 단순 페이지 수가 아닌 독립적인 도메인(Domain) 단위로 중복을 제거했는가?

3. 파이프라인의 처리 순서(Order-dependence)가 결과값에 영향을 주어 재현성을 해치지 않는가?

4. 검색 엔진 호출 시 모든 경로를 동시에 찌르지 않고 필요에 따라 단계적으로 확장하는 Escalation 구조인가?

태그