데이터 최신성 확보 및 Vectorless RAG 도입으로 FinanceBench 정확도 98.7% 달성

Context

배포 후 데이터 업데이트 누락으로 인한 Embedding Drift 및 응답 품질 저하 문제 발생. 전통적인 Vector RAG의 Similarity 기반 Chunking 방식이 문서의 구조적 계층 정보를 손실시켜 복잡한 정책 문서 분석 시 한계를 노출함.

Technical Solution

• 데이터 최신성 유지를 위한 Scheduled, Incremental, Event-driven 3단계 Re-indexing 전략 수립
• Embedding 모델 변경 시 Vector Index 전체 재구축을 통한 Embedding Drift 원천 차단
• Input 및 Output Guardrails를 파이프라인 단계로 설계하여 Prompt Injection 및 PII 유출 방지
• 단순 유사도가 아닌 문서 구조를 유지하는 Vectorless RAG 아키텍처 도입을 통한 계층적 정보 탐색 구현
• Retrieval 단계의 데이터 오염을 방지하기 위한 신뢰 기반의 Context 검증 로직 적용
• 문서 간 참조 관계 유지를 위해 Chunking을 배제한 PageIndex 프레임워크 활용

Impact

• FinanceBench 벤치마크 기준, 전통적 Vector RAG의 정확도 약 50% 대비 Vectorless RAG 도입 후 98.7%로 성능 대폭 향상

Key Takeaway

RAG 시스템의 실패 원인은 모델 성능보다 데이터 파이프라인의 최신성 유지 여부에 있으며, 문서의 성격(비정형 vs 구조형)에 따라 Vector 기반과 Vectorless 기반의 Retrieval 전략을 선택적으로 적용하는 유연한 아키텍처 설계가 필수적임.