웹 스크래핑 비용 모델을 월정액 구독에서 실행량 기반 종량제로 전환하여 95% 비용 절감

Context

기존 웹 스크래핑 도구들은 실제 데이터 수집 여부와 관계없이 월정액 요금(ScrapingBee $49/월, Oxylabs $180/월)을 부과한다. 저자는 월 $47 수익의 프로젝트에 $149/월을 지출하며 3개월 후 가격 책정이 아닌 인프라 계약 모델 자체가 문제임을 깨달았다.

Technical Solution

• 월정액 기반 스크래핑 서비스(ScrapingBee, Oxylabs)를 Apify의 목적별 Actor(특정 대상 최적화)로 대체
• 컴퓨트 단위 기반 종량제 청구 도입: $0.0001/컴퓨트유닛, Amazon ASIN당 약 10-15 컴퓨트유닛
• Actor 마켓플레이스의 사전 구축 스크래퍼 활용으로 파서 자체 개발 제거
• Apify 스케줄러(cron 문법)와 웹훅을 n8n/Make로 연결하여 결과를 Google Sheets에 자동 저장
• 실패한 요청은 청구 대상에서 제외하고 성공한 데이터만 비용 계산

Impact

• 월 9,000회 조회 기준: $49/월 → $10.80/월(78% 절감)
• 월 25,000 페이지: ScrapingBee $99 → Apify ~$30(70% 절감)
• 월 100,000 페이지: ScrapingBee $299 → Apify ~$120(60% 절감)
• 월 100,000 페이지 이하 범위에서 4~8배 비용 이점
• 월 300개 상품 일일 모니터링: Apify 무료 계층($5/월 크레딧) 포함으로 실질 무료화 가능

Key Takeaway

SaaS 월정액 모델은 프록시 풀과 엔지니어링 팀, 영업팀 비용, VC 수익률을 포함하지만, 목적별 Actor 아키텍처에서 종량제로 전환하면 실제 결과물에 대해서만 비용을 지불할 수 있다. 특히 단일 또는 소수의 데이터 소스를 대상으로 하는 소규모 팀에서는 Cloudflare 지문 변경 같은 반봇 유지보수를 Actor 관리자에게 위임할 수 있다는 아키텍처상 이점도 동시에 얻는다.