Hallucination 제거를 위한 Source-Grounded RAG 프롬프트 엔지니어링 설계

Context

LLM 기반 금융 분석 시 발생하는 환각 현상과 근거 없는 확신이 투자 의사결정에 치명적인 리스크로 작용함. 기존의 단순 요약 방식은 데이터 출처의 불분명함과 수치 왜곡이라는 구조적 한계를 가짐.

Technical Solution

• 원천 데이터의 무결성 확보를 위해 모든 응답에 Source Type, Date, Exact Excerpt를 강제하는 엄격한 제약 조건 설계
• 분석 프로세스를 Snapshot, Comparison, Triage, Audit 등 7단계의 모듈형 프롬프트 체인으로 분리하여 인지 부하 감소 및 정확도 향상
• Management Claim과 실제 Financial Metric을 대조하는 교차 검증 로직을 통해 서술형 데이터의 진위 여부를 판별하는 감사 체계 구축
• Crowd Sentiment 데이터를 분석 대상이 아닌 단순 Attention Context로 분리하여 정성적 데이터의 오염을 방지하는 데이터 격리 전략 채택
• 정량적 지표 산출 시 분기/연간 데이터 혼용 및 Adjusted EBITDA의 현금흐름 오인 등 도메인 특화 Red Flags를 정의하여 출력 필터링 적용