구조 보존 기반 DOCNEST 도입으로 RAG 쿼리 70%를 LLM 토큰 없이 해결

Context

기존 RAG 파이프라인의 단순 Chunking 방식은 표 구조 및 문서 계층 정보를 손실하여 데이터 문맥 파괴 유발. 특히 표 데이터의 헤더-값 연결성 상실로 인한 LLM의 낮은 추론 정확도가 주요 병목 지점으로 작용.

Technical Solution

• 단순 텍스트 추출 대신 문서 구조를 우선 분석하는 Document Normalization Engine 설계
• 표 데이터를 구조화된 JSON으로 변환하여 데이터 무결성을 유지하는 UDF(Unified Document Format) 정의
• 5계층 쿼리 엔진을 구축하여 Pre-computed 인덱스부터 Full document fallback까지 단계적 추론 경로 설정
• 대용량 PDF 처리 시 RAM 부족 문제를 해결하기 위해 PyMuPDF 기반의 자동 Page Chunking 전략 적용
• ML 기반 고정밀 파싱(Docling)과 경량 파싱(PyMuPDF)을 선택적으로 결합한 하이브리드 파싱 구조 채택