월 $49로 50개 경쟁사 가격 실시간 모니터링 및 2,400달러 추가 수익 창출

Context

수동 가격 모니터링의 비효율성과 Anti-bot 시스템으로 인한 Datacenter IP 차단 문제를 해결해야 하는 상황. 저비용으로 운영 가능한 서버리스 기반의 데이터 수집 파이프라인 구축 필요.

Technical Solution

• Residential Proxies 기반의 XCrawl API를 채택하여 Anti-bot 차단 회피 및 데이터 수집 안정성 확보
• GitHub Actions의 Cron Scheduling을 통한 6시간 주기 실행으로 Bot 탐지 가능성을 낮춘 Event-driven 구조 설계
• Markdown 기반 데이터 추출 및 정규 표현식을 활용한 Price Parsing 로직 구현으로 데이터 정제 시간 단축
• 단순 변경이 아닌 설정된 Threshold(5%) 이상의 유의미한 변동만 필터링하는 Alert Logic 적용
• Airtable을 데이터 저장소 겸 UI로 활용하여 별도 Dashboard 구축 비용 제거 및 데이터 가시성 확보
• Telegram Bot API 연동을 통한 즉시성 높은 Alerting 시스템 구축

Impact

• 월 운영 비용 $49 수준으로 47개 경쟁사 URL 실시간 모니터링 구현
• 가격 변동 감지 후 즉각 대응을 통해 월 약 $2,400의 증분 수익(Incremental Revenue) 달성

Key Takeaway

인프라 오버헤드를 최소화하기 위해 Managed Service와 Serverless 도구를 조합한 Lean Architecture 설계의 중요성 확인.