분산 환경 Retry Storm 차단으로 비용 $240에서 $0.30으로 절감

Context

단일 세션 단위의 maxRetries 설정으로 인해 분산 스크래핑 환경에서 동일 URL에 대한 중복 요청이 계속 재발생하는 구조적 결함 발생. 여러 Run과 Worker 간에 상태가 공유되지 않아 무한 루프 형태의 Retry Storm이 유발되며 컴퓨팅 비용이 급증하는 한계 노출.

Technical Solution

• Request Hash 기반 그룹화: URL과 쿼리 파라미터, 액션을 조합한 해싱을 통해 단순 URL 이상의 세밀한 요청 패턴 식별
• Cross-run 상태 관리: 세션 내 휘발성 카운터 대신 Redis와 같은 Persistent Store를 도입하여 전체 워크스페이스 단위의 요청 횟수 추적
• Upstream Blocking 설계: 스크래퍼 내부 로직이 아닌 큐 단계의 외부 게이트(ProceedGate)에서 요청을 제어하여 불필요한 컴퓨팅 자원 소모를 원천 차단
• 시간 윈도우 기반 Throttling: 60초 이내 동일 패턴 10회 이상 발생 시 Hard-block을 수행하는 임계치 기반 제어 로직 적용
• 토큰 기반 승인 프로세스: 요청 전 proceed_token 발행 여부를 확인하는 Gate Step을 추가하여 실행 권한을 명시적으로 제어