Scraper-less 구조 전환을 통한 SERP 데이터 구조화 및 RAG 파이프라인 구축

Context

직접적인 Search Engine Scraping 시 발생하는 Proxy 관리 부담과 Parser 유지보수 비용의 한계점 노출. 비정형 HTML 데이터를 정형 JSON으로 변환하는 과정에서 발생하는 높은 엔지니어링 리소스 소모 해결 필요.

Technical Solution

• Proxy Pool 및 Parser 제거를 통한 API 기반의 Structured Data 수집 구조로 전환
• Optional Chaining 및 Nullish Coalescing 연산자를 활용한 비정형 JSON 응답의 Defensive Access 설계
• Location API 연동 및 Explicit Location 파라미터 설정을 통한 지역별 SERP 레이아웃 불일치 문제 해결
• 429 Rate Limit 발생 시 Exponential Backoff 전략 기반의 재시도 로직 구현
• Organic Results 추출 및 Metadata 매핑을 통한 Vector Store 연동 RAG 파이프라인 구축