피드로 돌아가기
Dev.toAI/ML
원문 읽기
4시간 만에 12개 도구를 통합한 MCP 서버 구축 및 배포 전략
How I Built a 12-Tool MCP Server for AI Agents in 4 Hours (and What It Taught Me About 2026 Scraping)
AI 요약
Context
기존 Apify Store 기반 스크래퍼는 개발자가 수동으로 평가하는 SEO 중심 구조로 인해 발견 가능성이 낮음. LLM이 직접 도구를 선택하고 호출하는 Agentic Workflow로의 전환을 위해 Model Context Protocol(MCP) 도입 필요성 제기.
Technical Solution
- Streamable HTTP와 SSE 두 가지 Transport를 동시 마운트하여 최신 MCP Client와의 호환성 확보
- mcp-session-id 헤더 기반의 Session ID Management 로직을 구현하여 상태 유지 및 요청 처리 최적화
- Cloudflare Turnstile 우회 비용을 줄이기 위해 API 제공 시 BYOK(Bring Your Own Key) 패턴을 적용한 아키텍처 설계
- DOM 변경으로 인한 Silent Failure 방지를 위해 '추출 항목 0개' 발생 시 즉시 Error를 던지는 Self-test 로직 구현
- Stealth Browser 구동 시 발생하는 OOM 문제를 해결하기 위해 컨테이너 메모리를 1GB에서 4GB로 상향 조정
- Apify Standby 모드와 쿼리 파라미터 기반 Token 전달 방식을 통한 Zero-cost 배포 구조 설계
실천 포인트
- MCP 서버 구축 시 curl 테스트에 의존하지 말고 실제 Client의 initialize 및 tools/list 핸드셰이크 검증 - 브라우저 기반 스크래퍼 운영 시 메모리 하한선을 최소 4GB로 설정하여 OOM Crash 방지 - 스크래퍼 설계 시 데이터 0건 반환을 성공이 아닌 에러로 처리하는 Smoke Run 테스트 자동화 - 고도화된 Bot 차단 솔루션 대응 시 무리한 우회보다는 제공 API 기반의 BYOK 패턴 우선 검토