GPT-4 법률 환각률 58% 극복을 위한 RAG 기반 검증 아키텍처 설계

Context

LLM의 확률적 텍스트 생성 특성으로 인해 법률 인용 시 존재하지 않는 판례를 생성하는 Factual Hallucination 발생. 권위 있는 출처의 증명이 필수적인 법률 워크플로우에 제약 없는 Generative Model을 직접 도입하며 발생한 시스템 엔지니어링 및 거버넌스 실패 상황.

Technical Solution

• Authority-critical 워크플로우 보호를 위한 Retrieval-first 아키텍처로의 전환
• Hybrid Vector + Keyword Search를 통한 공식 판례 데이터베이스 기반의 정밀한 Retrieval 수행
• 모델이 제공된 컨텍스트 외부의 정보를 생성하지 못하도록 제한하는 Grounded Answer 프롬프팅 적용
• Query Normalization 단계를 추가하여 사용자 질문을 최적화된 검색 쿼리로 변환하는 전처리 공정 설계
• Retrieval Precision/Recall 및 Chunking Quality 측정 지표를 통한 데이터 파이프라인 성능 검증
• 생성된 결과물의 출처를 역추적하여 실제 법전과 대조하는 Post-hoc Verification 레이어 구축