전통 웹 스크래핑의 한계를 인식하고 AI 기반 웹 에이전트로 대체하는 과정을 실제 작업 기반으로 정리함

Context

30~40개 사이트의 가격, 기능, 시장 포지션 데이터를 수집하는 경쟁사 분석 보고서 작업에서 전통 스크래핑이 실패함. 동적 렌더링, 로그인 요구, CAPTCHA, anti-bot 시스템 등 현대 웹의 구조적 장애물에 부딪힘.

Technical Solution

• Search APIs (Exa, Tavily): 구조화된 JSON 반환으로 빠른 정보 발견 가능하지만, 로그인 벽, 대시보드, 동적 로딩 데이터 접근 불가
• Content Extraction (Firecrawl): URL 기반 JavaScript 렌더링 후 정제된 콘텐츠 추출하지만 인터랙티브 요소(필터, 폼, 페이지네이션) 미지원
• Browser Agents (Browser Use, OpenAI Operator): AI가 버튼 클릭, 폼 입력, 화면 해석 후 다음 행동 결정 가능하지만 다중 사이트 병렬 작업 시 오케스트레이션 부담 발생
• Remote Web Agent Platforms (TinyFish, Browserbase): 클라우드 환경의 헤드리스 브라우저를 대규모로 실행하며 프록시, 세션 관리, 인프라 계층 제공
• WebMCP: navigator.modelContext API를 통해 에이전트가 DOM 시각 해석 없이 get_pricing() 같은 함수를 직접 호출하는 미래 표준 제안

Impact

동일 작업 기준 기존 방식(40개 탭, 2일 소요) 대비 자동화 가능하며 반복적인 복사-붙여넣기 수동 작업 대체 가능함.

Key Takeaway

웹 스크래핑은 brittle selector 기반 파싱에서 natural language로 원하는 결과를 기술하고 얻는 방식으로 패러다임 전환 중이며, 각 도구는 발견-추출-실행-통합 등 서로 다른 작업 단계에 최적화된 특화 솔루션으로 진화함.