Structured Data 정합성 검증을 통한 AI Agent 신뢰도 측정 도구 설계

Context

웹사이트 내 Structured Data 부족 및 불일치로 인한 LLM의 Hallucination 발생. llms.txt 부재와 JSON-LD의 불완전성이 AI Agent의 정보 해석 일관성을 저해하는 병목 지점으로 작용.

Technical Solution

• llms.txt, llms-full.txt, JSON-LD @graph를 대상으로 하는 명시적 선언 데이터 추출 로직 설계
• Llama 3.3 70B 및 Gemini 1.5 Flash를 활용한 Semantic Coherence 검증 파이프라인 구축
• 단순 크롤링을 배제하고 AI Agent 전용 명세서만을 분석하여 데이터 무결성 평가
• 각 데이터 소스별 가중치(0-30점)를 적용한 다차원 정량 스코어링 모델 구현
• 선언된 주장과 입증 가능한 증거 간의 비례성을 평가하는 LLM 기반 판정 로직 적용