피드로 돌아가기
Dev.toAI/ML
원문 읽기
MCP 기반 외부 툴 체이닝을 통한 Claude Code 네트워크 제약 해소
How to Scrape Websites with Claude Code (2026 Guide)
AI 요약
Context
Claude Code의 기본 아키텍처상 네트워크 접근 권한이 부재하여 실시간 웹 데이터 획득 불가. 기존 WebFetch 헬퍼는 Cloudflare 및 Akamai 등 Edge Protection에 의한 빈번한 차단과 Rate-limit 발생으로 인한 실용성 저하.
Technical Solution
- Model Context Protocol(MCP)을 활용하여 외부 스크래핑 서버를 Claude Code의 함수로 등록하는 아키텍처 설계
- JSON-RPC over stdio 통신 방식을 통한 터미널 기반 LLM과 외부 서버 간의 도구 호출 인터페이스 구현
- 정적 HTML 획득을 위한 fetch_url과 JavaScript 렌더링 대응을 위한 scrape_with_actions의 분리 운용
- TLS Fingerprinting 및 JA3/JA4 기반 차단 우회를 위해 브라우저 핑거프린트를 회전시키는 stealth_mode 도입
- 정해진 Selector 기반의 데이터 추출을 수행하는 scrape_structured 로직을 통한 구조화된 데이터 반환 체계 구축
실천 포인트
1. 정적 페이지는 fetch_url로 비용 최적화
2. CSR 기반 사이트는 scrape_with_actions로 Hydrated DOM 확보
3. 403 Forbidden 발생 시 stealth_mode 전환 검토
4. 구조화된 데이터 필요 시 Selector 정의를 통한 scrape_structured 활용