User-Agent Rotation으로 차단율 25%에서 6%로 개선한 SEO 감사 도구 설계

How I Built a Free SEO Audit Tool with Next.js, Supabase, and Stripe in 1 Week

Goran2026년 6월 8일10분intermediate

AI 요약

Context

기존 SEO 도구들의 과도한 비용과 복잡한 지표 제공으로 인한 사용자 진입 장벽 발생. 단순한 등급 산정 및 핵심 개선안 제시를 목표로 하는 경량 감사 시스템 설계 필요성 대두.

Next.js App Router와 Supabase를 조합한 Boring Stack 채택으로 인프라 관리 공수 최소화 및 비즈니스 로직 집중
각 감사 항목을 Pure Function으로 정의하고 Promise.all을 통한 병렬 처리로 HTML 분석 시간 3~5초대 달성
WAF 및 봇 차단 회피를 위해 일반 브라우저에서 Googlebot, Bingbot 순으로 시도하는 Multi-pass UA Rotation 전략 구현
Cloudflare 챌린지 페이지 및 응답 바디 크기(4KB 미만) 분석을 통한 정밀한 Blocked 상태 판별 로직 적용
Supabase 기본 SMTP의 전송 제한 및 스팸 분류 문제를 해결하기 위한 Resend 기반 Custom SMTP 전환
Vercel Cron Job을 활용한 주간 재감사 및 자동 리포트 발송 파이프라인 구축

실천 포인트

1. 외부 API/크롤러 설계 시 User-Agent Rotation 및 폴백 시퀀스 정의 여부 확인

2. HTTP 200 응답이라도 바디 내용 및 크기를 분석하여 실제 봇 차단 여부를 판별하는 유효성 검사 단계 추가

3. SaaS 초기 구축 시 인프라 오버헤드를 줄이기 위해 Managed Service 중심의 Boring Stack 검토

4. 전송 제한이 엄격한 기본 SMTP 대신 전용 트랜잭셔널 메일 서비스 도입 고려

태그