피드로 돌아가기
Dev.toBackend
원문 읽기
AI Bot 전용 Markdown 서빙으로 대역폭 80배 절감 및 TTFB 3배 개선
AI Bots Are Driving Up Your Hosting Bill. I have a WordPress fix
AI 요약
Context
AI Crawler의 빈번한 방문으로 인한 WordPress Full Bootstrap 및 무거운 HTML 렌더링 비용 증가. robots.txt를 통한 차단은 AEO(Answer Engine Optimization) 손실을 초래하여 유기적 유입 감소라는 상충 관계 발생.
Technical Solution
- User-Agent 분석을 통한 AI Bot 식별 및 전용 응답 경로 분리 설계
- template_redirect 훅을 활용하여 테마 렌더링 전 단계에서 요청 가로채기 수행
- 무거운 Full HTML 대신 경량 Markdown 포맷으로 콘텐츠 변환 서빙
- CSS, JS, Image 등 불필요한 Asset 요청을 제거하여 HTTP Request 횟수 최소화
- Full Bootstrap 과정을 생략하고 Transient Cache를 활용한 데이터 읽기로 DB 쿼리 부하 감소
- 동일 URL 내에서 방문자 유형에 따라 응답 포맷만 변경하는 다형성 응답 구조 채택
실천 포인트
- AI Bot 유입 증가 시 단순 차단 전 AEO 영향도 분석 수행 - 무거운 CMS 기반 사이트의 경우 Bot 전용 경량 뷰(View) 제공 검토 - User-Agent 기반의 Early-exit 전략으로 Application Layer 부하 감소 적용 - 정적 자산(CSS/JS) 호출이 불필요한 Crawler 대상의 Asset Filtering 도입