LLM 간 교차 검증의 통계적 함정 극복을 위한 Material Probe 도입

Context

서로 다른 LLM(GPT-4o, Claude)의 일치된 피드백을 독립적인 검증 결과로 오인하여 설계 결정을 내리는 위험성 발견. 학습 데이터셋의 중첩으로 인해 발생하는 Correlated Errors가 교차 검증의 신뢰성을 훼손하는 구조적 한계 노출.

Technical Solution

• LLM의 확신 섞인 주장을 아키텍처 결정의 입력값으로 사용하기 전 Material Probe 단계를 필수적으로 배치하는 검증 프로세스 설계
• 도구의 동작, 외부 리소스 내용, 시스템 구조 등 Ground Truth 샘플링이 가능한 영역에 대해 Shell Command 기반의 실제 값 확인 로직 적용
• LLM 간의 합의를 독립된 두 개의 소스가 아닌, 단일한 통계적 교차점(Shared Learning Intersection)으로 정의하여 가중치 하향 조정
• 시각적 렌더링 결과와 실제 Raw Source 간의 괴리를 식별하기 위한 safe_load 등 기계적 파싱 검증 단계 도입
• '검증 비용(1 shell command) vs 오류 비용(Pipeline 재구축)'의 비대칭성을 분석하여 Material Testing을 강제하는 R12 규칙 수립