프롬프트 한 줄의 환상 제거, LLM Hallucination을 잡는 시스템 설계 전략

Context

LLM의 Hallucination은 확률적 텍스트 예측 모델의 구조적 특성. 단순한 프롬프트 지시만으로는 근본적 제거가 불가능한 설계적 한계. 시스템 외부의 검증 구조 없이 모델의 출력값에만 의존하는 과도한 신뢰 구조.

Technical Solution

• 모델의 내부 메모리 의존도를 낮추고 외부 지식 기반으로 답변을 생성하는 RAG 구조 도입
• 첫 번째 출력을 최종 결과가 아닌 초안으로 취급하고 모델이 스스로 비판 및 수정하는 Self-debugging 워크플로우 설계
• 코드 실행 결과 비교 및 인용 문헌의 실제 존재 여부를 확인하는 도메인 특화 External Verifier 구축
• 정답 불확실성 발생 시 답변을 거부하거나 신뢰도 점수를 부여하여 오류를 가시화하는 Calibration 전략 적용
• 정답의 책임 소재를 프롬프트가 아닌 시스템 수준의 독립적 체크 프로세스로 이동시키는 Scaffolding 설계
• 에이전트의 도구 사용 권한을 제한하여 Hallucination이 시스템 장애로 이어지는 Blast Radius 최소화

Key Takeaway

신뢰성은 모델의 성능이 아닌 모델을 둘러싼 검증 하네스와 시스템 아키텍처에서 결정됨. 모델의 확률적 특성을 인정하고 결정론적인 외부 검증 계층을 분리 설계하는 것이 핵심 원칙.