Frontier LLM 5종의 실세계 팩트체크 일치율 33% 분석

Context

기존 LLM 벤치마크의 공개 정답지 패턴 매칭 한계를 극복하기 위해 실제 사용자 제출 기반의 Real-world Claim 데이터셋 활용. 단일 모델의 판단 결과에 의존할 때 발생하는 결정론적 오류와 신뢰성 결여 문제를 정량적으로 측정함.

Technical Solution

• 4-bucket Ordinal Scale(True, Mostly True, Misleading, False) 설계를 통한 정밀한 판단 기준 수립
• Krippendorff's α(ordinal) 지표를 적용하여 단순 일치도가 아닌 서열 척도 기반의 상호 일치도 분석
• Majority Verdict를 구조적 기준점으로 설정하여 개별 모델의 Dissenting Rate 측정
• Max Pairwise Bucket Distance 계산을 통해 단순 Calibration Shift와 Substantive Disagreement를 구분하는 로직 구현
• 데이터셋의 독립성 확보를 위해 Submitter Identity 및 Analytics Signal을 배제한 Claim Text 기반 입력 설계

Impact

• 전체 Claim의 67%에서 모델 간 의견 불일치 발생
• 34%의 사례에서 2-bucket 이상의 결정적 견해 차이(Substantive Disagreement) 확인
• Krippendorff's α 0.639 기록으로 제한적인 일치 수준 증명
• 단일 모델 신뢰 시 최소 67% 이상의 확률로 오답 가능성 내포

Key Takeaway

LLM의 판단 결과가 훈련 데이터의 Gold Label에 의존하지 않는 실세계 데이터에서는 불확실성이 급증함. 단일 모델의 결과를 Ground Truth로 간주하는 설계는 위험하며, 다수 모델의 합의(Consensus) 과정이나 인간 검증 루프를 포함한 앙상블 아키텍처 도입이 필수적임.