Hallucination 제로 구현 및 근거 밀도 4.5배 향상시킨 도메인 특화 RAG 시스템

Context

LLM의 고질적인 문제인 가짜 인용문(Hallucinated Citations) 생성으로 인한 학술적 신뢰성 결여를 해결하고자 함. 단순 학습 데이터 의존 방식에서 벗어나 검증 가능한 권위적 말뭉치(Corpus) 기반의 질의 구조로의 전환이 필요했던 상황.

Technical Solution

• Paragraph Boundary 기반 Chunking 및 64-token Overlap 적용을 통한 문맥적 일관성 확보 및 검색 정밀도 향상
• MariaDB(메타데이터/원문)와 ChromaDB(벡터 임베딩)를 결합한 Dual Storage 구조로 추적 가능성(Traceability) 확보
• Cosine Similarity, Pre-computed Quality Score, Recency Weight를 결합한 Hybrid Relevance Scoring 로직 설계로 단순 유사도를 넘어선 학술적 가치 기반 랭킹 구현
• Ollama를 통한 인덱싱 단계의 Relevance Score 사전 계산으로 쿼리 시점의 LLM 추론 오버헤드 제거 및 필터링 속도 최적화
• FastAPI REST Layer와 Claude Code 기반 AI Agent를 통한 End-to-End 리서치 워크플로우 오케스트레이션 구축

Impact

• 인용문 환각 발생률 0% 달성 및 문단당 평균 인용 밀도 0.4개에서 1.8개로 증가
• 리서치 제안서 초안 작성 소요 시간 2~3일에서 3~4시간으로 대폭 단축
• 2,514개 PDF 문서 대상 99.8%의 RAG 커버리지 확보 및 문서당 인덱싱 시간 약 30초 기록

Key Takeaway

LLM을 '진실의 원천(Source of Truth)'이 아닌 '추론 엔진(Engine of Reasoning)'으로 정의하고, 신뢰할 수 있는 외부 지식 베이스를 API 형태로 정교하게 제공하는 설계 전략의 유효성 증명.