모델 변경 없이 아키텍처 최적화만으로 RAG 정확도 62%에서 94% 달성

Context

GPT-4o와 Pinecone 기반의 기본 RAG 시스템이 실제 운영 환경의 복잡한 쿼리 대응 과정에서 정확도 한계에 직면함. 특히 문서 간 논리적 관계 단절과 고유 명사 검색 실패로 인한 Hallucination 및 높은 False Confidence Rate가 주요 병목 지점으로 식별됨.

Technical Solution

• 문장 간 Embedding Similarity 기반의 Semantic Chunking 도입을 통한 문서 내 논리적 맥락 유지 및 정보 단절 방지
• BM25 키워드 검색과 Vector Search를 결합한 Hybrid Search 구축 및 Reciprocal Rank Fusion(RRF) 적용을 통한 고유 명사 검색 정밀도 향상
• 검색 결과의 우선순위를 재조정하는 Re-ranking 단계 추가를 통한 Context Window 내 최적 정보 배치
• 정답 셋 기반의 RAGAS 평가 프레임워크 구축을 통한 변경 사항의 정량적 검증 및 반복적 최적화 수행
• 단순 LLM 프롬프트 수정이 아닌 Retrieval 파이프라인의 구조적 개선을 통한 모델의 Calibration 최적화