Private Data 연동을 통한 LLM Hallucination 해결 및 RAG 아키텍처 설계

Context

LLM의 학습 데이터 범위를 벗어난 최신 정보나 기업 내부 Private Data 요청 시 발생하는 Hallucination 문제 분석. 모델 재학습을 통한 지식 업데이트의 높은 비용과 데이터 업데이트 주기 제약으로 인한 한계점 식별.

Technical Solution

• 외부 지식 베이스를 LLM과 연결하여 답변 근거를 제공하는 Retrieval Augmented Generation 구조 채택
• 문서를 최적의 크기로 분할하는 Chunking 과정을 통한 데이터 전처리 수행
• 텍스트 데이터를 벡터 공간의 좌표로 변환하여 의미적 유사도를 측정하는 Vectorization 적용
• Vector DB에 저장된 데이터 중 쿼리와 가장 인접한 Magnitude를 가진 데이터를 검색하여 Context로 제공
• Temperature 파라미터 조절을 통한 결과값의 Factual 또는 Imaginative 성향 제어
• 단순 모델 Fine-tuning 대비 데이터 업데이트 유연성을 확보한 External Knowledge Linkage 설계