LLM Knowledge Cutoff 극복을 위한 RAG 기반 Semantic Search 아키텍처 설계

Context

LLM의 학습 데이터 컷오프 및 기업 내부 데이터 접근 불가로 인한 정보 최신성 및 정확도 결여 문제 발생. 단순 Prompt Injection 방식은 Context Window 제한과 중간 정보 손실(Lost-in-the-Middle) 현상으로 인해 대규모 데이터 처리에 한계 노출.

Technical Solution

• Semantic Search 구현을 위한 문서 단위 Chunking 및 Vector Embedding 기반의 지식 저장소 구축
• 단순 고정 길이 분할 대신 문단 및 섹션 기반의 Natural Boundary 분할과 150~200자 Overlap 설계를 통한 문맥 단절 방지
• Cosine Similarity 기반의 Nearest-Neighbor Search를 통해 쿼리 의도와 가장 부합하는 Top-K Chunk 추출
• Vector Database 내 Metadata Filtering을 적용하여 Multi-tenant 환경에서의 데이터 격리 및 검색 범위 최적화
• Retrieval 단계의 정밀도를 높여 LLM이 제공된 Context 내에서만 답변하도록 제한하는 Grounding 구조 설계
• 데이터 변경 시 Fine-tuning 없이 Vector Store 업데이트만으로 최신 정보를 실시간 반영하는 Stateless 지식 업데이트 체계 구축