curl-cffi Chrome 모방과 Residential Proxy 조합으로 Akamai 봇 탐지 80~90% 우회함

Context

Akamai는 Cloudflare와 달리 TLS 핑거프린트뿐 아니라 sensor.js를 통해 GPU 렌더링, WebRTC 스택, 오디오 컨텍스트 등 수백 개의 수동 신호를 분석함. 일반 Selenium은 약 80%, Python requests는 5회 요청 내에 100% 탐지됨.

Technical Solution

• curl-cffi: libcurl impersonation 모드로 Chrome 124의 TLS 핑거프린트(JA3/JA4 해시, cipher suites, ALPN 프로토콜)를 정밀하게 복제함
• Residential Proxy Rotation: 데이터센터 IP 대신 주거용 프록시를 사용하고 요청마다 또는 세션마다 새 IP로 교체함
• Geographic Consistency: 타겟 사이트 예상 대상과 동일한 국가의 IP로 유지함
• Selenium Stealth Fallback: curl-cffi로 우회 실패 시 selenium-stealth와 proper Chrome 옵션(headless, sandbox 비활성화 등)으로 실제 브라우저 환경 제공함
• Bot Detection 모니터링: 응답 본문에서 CAPTCHA, blocked, access denied 키워드 탐지 시 프록시 교체 및 딜레이 추가함

Impact

단순 Akamai 보호 사이트에서 curl-cffi 단독 사용 시 80~90% 우회 성공률을 달성함. Selenium 대비 10~50배 빠른 실행 속도를 가짐.

Key Takeaway

Akamai 탐지 메커니즘은 단일 요청 헤더가 아닌 브라우저 핑거프린트와 IP 이력 기반이라는 점에서 Cloudflare와 근본적으로 다름. 따라서 TLS 복제와 IP 로테이션을 동시에 적용해야 효과적인 우회가 가능함.