Cloudflare Edge에서의 robots.txt 변조 해결을 통한 AI 가시성 확보

Context

CDN 인프라의 기본 설정으로 인해 Origin 서버의 robots.txt가 무시되고 AI Crawler가 차단되는 문제 발생. 단순 설정 해제로 해결 가능하다고 판단했으나, Edge 단계에서 동적으로 콘텐츠가 주입되는 다중 레이어 제어 구조로 인해 분석의 복잡도가 증가함.

Technical Solution

• Cloudflare의 'Manage your robots.txt' 기능을 통한 Edge 단의 Response Body 변조 메커니즘 파악
• 'Instruct AI bots to not scrape content' 설정이 Content-Length 헤더 수정 없이 1,738 bytes의 Disallow 규칙을 강제 주입하는 동작 분석
• 단순 Bot 차단 해제를 넘어 'Disable robots.txt configuration'을 선택하여 Origin 서버의 파일을 그대로 서빙하는 구조로 변경
• Content-Signal: ai-train=no 헤더를 제거하여 AI 모델 학습 코퍼스 포함을 통한 인용 가능성 극대화 전략 채택
• JSON-LD 구조화 데이터 도입 및 llms.txt 파일 추가를 통한 Answer Engine Optimization(AEO) 최적화 설계
• Sitemap.xml 404 오류 해결 및 RSS 피드의 URL Prefix 정정을 통한 크롤링 경로 정상화