LLM Hallucination의 구조적 필연성 인정 및 Verification Layer 중심 설계 전환

Context

LLM의 Hallucination을 일시적 버그로 간주하여 프롬프트 수정이나 파인튜닝으로 해결하려는 접근 방식의 한계 분석. Autoregressive 모델 특성상 통계적 개연성 기반의 토큰 생성은 구조적 필연이며, 이는 모델의 유창함과 동일한 메커니즘에서 기인함.

Technical Solution

• LLM을 Knowledge Source가 아닌 Fluency Engine으로 정의하여 역할 분리
• Parametric Memory 기반의 Recall 작업에서 RAG를 통한 Context 기반 Summarization 작업으로 전환하여 검증 가능성 확보
• 외부 Audit Trail(DB, Document Store, Tool Call)을 통해 지식의 출처를 명확히 하는 아키텍처 설계
• 고위험 분기점에 대해 Second Model Voting, Deterministic Validator, Human Approver 등 다중 검증 계층 도입
• RLHF를 통한 불확실성 표현(Hedge) 능력을 모델의 태도 개선으로 정의하고, 이를 데이터 진실성과 구분하여 처리