Confidence Scoring 기반 Memory Substrate 구축을 통한 LLM Hallucination 해결

Context

Unstructured Text 기반의 단순 메모리 구조로 인한 정보 검색 실패 및 LLM의 Confident Misremembering 문제 발생. 단순 모델 성능 향상만으로는 데이터의 최신성 보장과 불확실성 표현이 불가능한 아키텍처적 한계 직면.

Technical Solution

• Runtime에서 계산되는 Confidence Score 도입을 통한 정보 신뢰도 정량화
• 데이터 업데이트 시 기존 정보를 Overwrite 하지 않고 Superseded 마킹 및 연결 포인터를 유지하는 버전 관리 구조 설계
• 상충하는 정보 발생 시 Consensus를 강제하지 않고 Contested 상태로 보존하여 갈등 관계를 명시적으로 노출
• LLM의 응답 생성 전 Flagged Fact에 대한 강제 검증 단계를 추가하여 잘못된 사실의 확산 방지
• 단순 LLM Reasoning 능력에 의존하지 않고 Memory 계층에서 Doubt를 표현하는 구조적 해결책 채택