Sitemap 기반 데이터 파이프라인 설계를 통한 RAG 데이터 피딩 최적화

Context

웹사이트의 Sitemap.xml에서 추출한 데이터의 품질과 풍부함을 검증하여 Pipeline Health Check 및 Content Auditing 가능 여부를 판단하는 과정임. 단순 URL 수집을 넘어 RAG 및 AI 데이터 피더로서의 활용 가능성을 분석하기 위해 100개 행의 샘플 데이터셋을 기반으로 데이터 구조를 진단함.

Technical Solution

• Landing Zone 기반 Raw JSON 저장 및 Partitioning 구조를 통해 데이터 무결성 확보 및 재처리 가능성 설계
• Cast to String 처리를 통한 Identifier 필드의 Warehouse 강제 형변환(Coercion) 방지 및 데이터 정밀도 유지
• Raw-to-Curated 2계층 아키텍처 설계를 통해 스키마 변경 시에도 원본 데이터 손실 없이 Fidelity를 유지하는 Iteration 구조 구축
• Timestamp 파싱 및 Native DATE/TIMESTAMP 타입 변환을 통한 시계열 분석 최적화
• Daily-rollup, Recency, Delta view 모델을 사전 구축하여 데이터 추가 및 삭제분(Diff)을 저비용으로 탐색하는 쿼리 최적화