Headless Browser 기반 동적 DOM 렌더링 및 비동기 파이프라인을 통한 대규모 데이터 추출 설계

Context

React 기반의 Dynamic Content Hydration과 복잡한 Anti-bot 메커니즘으로 인해 단순 HTTP 요청으로는 데이터 수집 불가한 구조. 특히 Obfuscated CSS 클래스와 TLS Fingerprinting 기반의 Rate Limit이 데이터 추출의 주요 병목 지점으로 작용함.

Technical Solution

• 단순 HTTP Client 대신 Headless Browser를 활용한 JavaScript 실행 및 Network Idle 상태 대기로 완전한 DOM 렌더링 구현
• JA3/JA4 Signature 및 TLS Handshake 일관성 유지를 위한 Anti-bot Bypass API 도입으로 IP 차단 및 CAPTCHA 회피
• 정적 CSS Selector의 취약성을 극복하기 위해 JSON-LD Schema.org 데이터 추출 우선 전략 채택
• Redis/RabbitMQ 메시지 브로커를 통한 URL 큐잉과 Worker 기반의 Async Execution 구조로 추출 로직 분리
• Pydantic Schema를 활용한 데이터 검증 및 PostgreSQL JSONB 컬럼 저장을 통한 비정형 데이터의 구조적 관리
• Webhook 기반의 비동기 페이로드 수신 구조 설계로 애플리케이션 로직과 추출 실행 시간의 완전한 Decoupling 구현