LLM Hallucination 해결을 위한 RAG 기반 지식 주입 아키텍처 설계

Context

LLM의 학습 데이터 부재로 인한 Hallucination 발생 및 최신 내부 데이터 반영의 한계 직면. Fine-tuning 방식의 높은 업데이트 비용과 출처 제시 불가 문제를 해결하기 위한 구조적 접근 필요.

Technical Solution

• Knowledge Base의 문서를 벡터화하여 저장하는 Indexing 파이프라인 구축
• Retrieval 품질 향상을 위해 Fixed-size, Sentence-aware, Paragraph-aware 등 데이터 특성에 최적화된 Chunking 전략 적용
• User Query를 벡터로 변환하여 Vector DB에서 Top-k 유사 Chunk를 추출하는 Retrieval 메커니즘 구현
• 추출된 Context를 Prompt에 명시적으로 결합하여 LLM이 근거 기반 답변을 생성하도록 하는 Generation 프로세스 설계
• Context 무시 및 오답 방지를 위한 System Prompt 제약 조건 설정과 Temperature 조절을 통한 결정론적 응답 유도
• RAGAS 프레임워크를 통한 Faithfulness, Answer Relevancy, Context Precision의 정량적 평가 체계 도입