피드로 돌아가기
Dev.toAI/ML
원문 읽기
LLM Hallucination의 4가지 유형별 개별 탐지 패턴 구축을 통한 정밀한 품질 관리
4 Types of Hallucinations: One Detection Pattern Per Type
AI 요약
Context
단일 지표 기반의 Hallucination 체크는 서로 다른 실패 모드를 가진 오류들을 구분하지 못하는 한계 존재. 이로 인해 Eval Suite는 통과하나 실제 고객 지원 요청이 증가하는 괴리 현상이 발생함.
Technical Solution
- Factual Fabrication 해결을 위해 추출된 Entity를 신뢰 가능한 Authoritative Source와 대조하는 Lookup 기반 탐지 구조 설계
- Intrinsic Contradiction 해결을 위해 k개의 Response를 샘플링하고 Pairwise Agreement를 측정하는 Self-consistency 로직 도입
- Prompt-vs-Output Divergence 해결을 위해 Input이 Output의 주장을 함의하는지 검증하는 단방향 NLI(Natural Language Inference) 적용
- Tool-call Hallucination 대응을 위해 실행 전 Ground Truth 확인 및 Side Effect 차단을 위한 Gating 메커니즘 구축
- 결정론적 결과(Lookup)는 즉시 Blocking 처리하고 확률적 결과(NLI)는 Human Review로 라우팅하는 차등 제어 전략 채택
- 모든 탐지 결과를 Trace ID와 결합하여 로깅함으로써 프롬프트 수정이 아닌 탐지기 튜닝 기반의 디버깅 체계 마련
실천 포인트
- 현재 시스템에서 가장 빈번한 Hallucination 유형(인용 오류, 문서 불일치 등)을 우선 식별하여 개별 탐지기 우선 도입 - NLI 기반 검증 시 CPU 환경에서도 가벼운 DeBERTa-MNLI 모델을 활용하여 인프라 비용 최적화 - 단순 텍스트 분리 시 Regex 대신 nltk.sent_tokenize와 같은 전문 라이브러리를 사용하여 분절 정밀도 향상 - 탐지 결과의 심각도와 리스크 버짓에 따라 Blocking과 Logging의 기본 동작을 다르게 설정