부동산 데이터 수집 엔지니어가 Incapsula, Akamai 봇 방지 우회를 위해 Residential Proxy + Playwright 스텔스 자동화 조합으로 4개 플랫폼(Zillow, Redfin, Realtor.com, Trulia)에서 일일 수천 건의 리스팅 추출

Context

부동산 투자 분석, 시장 조사, 경쟁사 모니터링 등에 필요한 대규모 리스팅 데이터를 수작업으로 수집하는 것은 확장 불가능하며, 각 플랫폼이 서로 다른 수준의 봇 탐지 기술(Incapsula, Akamai)을 적용하고 있다.

Technical Solution

• Residential Proxy 회전: 데이터센터 프록시 대신 ThorData 같은 주거용 IP 풀을 사용하여 자동 회전 및 지역 기반 타겟팅 구현
• Stealth 브라우저 자동화: Playwright 또는 Puppeteer에 anti-detection 패치를 적용하여 뷰포트 크기, 마우스 움직임, 요청 타이밍을 무작위화
• Zillow JSON-LD 파싱: HTML 응답에서 구조화된 데이터(JSON-LD)를 추출하여 가격, 주소, 침실 수, 면적 수집
• Redfin GraphQL API 역엔지니어링: redfin.com/stingray/api/gis 엔드포인트를 프로그래매틱하게 쿼리하여 판매 가격, HOA, 건설년도 등 수집
• Realtor.com Akamai 우회: 초기 브라우저 방문에서 세션 쿠키와 Akamai 센서 헤더를 수집한 후 GraphQL API(realtor.com/api/v1/hulk) 호출로 MLS 정보 추출
• 요청 간격 제어: 3~8초 사이의 지연 및 지터 추가로 요청 패턴 추적 회피
• 일일/시간 단위 갱신 전략: 활성 리스팅은 일일 새로고침, 피크 시간(화수목 아침)에는 시간 단위 갱침

Key Takeaway

부동산 데이터 스크래핑은 플랫폼별 봇 방지 기술과 API 구조 차이를 정확히 파악한 후 Residential Proxy와 스텔스 자동화를 조합하면 운영 가능하며, 수집 규모에 따라 브라우저 자동화(수백 건/일) 또는 전용 프록시 인프라(수천 건/일)를 선택해야 한다.