Cloud Browser 분산 배치를 통한 Twitter Rate Limit 극복 및 런타임 83% 단축

Context

단일 Exit IP 기반의 로컬 크롤러 구조로 인한 Twitter의 강력한 Rate Limit 직면. 동시성 제어를 통한 안정성 확보 시 데이터 수집 시간이 30분까지 증가하며 비즈니스 타임라인 내 데이터 제공 불가 상태 발생.

Technical Solution

• 단일 IP 병목 해결을 위한 Actionbook의 --provider 플래그 기반 Cloud Browser 아키텍처 전환
• Driver, HyperBrowser, BrowserUse 3개 Provider의 Free Tier를 조합한 비용 최적화 및 IP 풀 확장
• 전체 URL 리스트를 3개 슬라이스로 분할하여 각 Provider 세션에 병렬 할당하는 Load Balancing 구조 설계
• 세션당 10개의 Tab을 동시 구동하여 총 30개의 독립적인 요청을 병렬 처리하는 분산 수집 로직 구현
• Provider 간 추상화 계층을 통해 스크립트 수정 없이 인프라 백엔드를 교체 가능한 유연한 설계 적용
• 수집 데이터의 후처리 과정을 통한 Noise 필터링 및 고밀도 정보 추출 파이프라인 구축

Impact

• 전체 데이터 수집 런타임 30분에서 5분으로 단축
• Rate Limit 발생 빈도 0%에 수렴하는 안정성 확보
• 일일 1,000건의 URL 처리 효율성 증대

Key Takeaway

네트워크 에지(Network Edge)에서 발생하는 제약 사항은 로컬 최적화가 아닌 물리적 진출점(Exit Point)의 다변화를 통해 해결 가능하다는 아키텍처적 통찰 도출.