Layout Analysis와 Vector Caching을 통한 고효율 RAG 시스템 구축

Context

PDF의 절대 좌표 기반 텍스트 저장 방식으로 인한 데이터 순서 왜곡 및 문맥 손실 문제 발생. 무분별한 API 호출로 인한 LLM 운영 비용 상승과 Rate Limit 제약이라는 기술적 병목 존재.

Technical Solution

• Bounding Box 기반의 Rule-Based Layout Analysis 도입을 통한 다단 구성 문서의 논리적 읽기 순서 복원
• 15-20%의 Dynamic Sliding Window Overlap 적용으로 문장 경계 절단에 따른 컨텍스트 손실 방지
• Session 기반 Vector Caching 구현을 통한 중복 문서의 벡터화 연산 제거 및 인프라 비용 절감
• Meta-prompting Layer를 활용한 컨텍스트 압축으로 LLM 입력 토큰 수 최소화 및 추론 효율 증대
• Backend Stateless 설계를 위한 Client-Side Metadata 처리 비중 확대
• Next.js와 고성능 Vector Database 조합을 통한 저지연 Semantic Search 아키텍처 구성