피드로 돌아가기
Dev.toDevOps
원문 읽기
Google Indexing API 기반 URL 강제 푸시를 통한 24시간 내 98페이지 인덱싱 달성
How I Got 98 Pages Indexed by Google in 24 Hours (Without Waiting for Crawlers)
AI 요약
Context
Sitemap 제출 기반의 수동적 Crawling 방식에 따른 신규 페이지 인덱싱 지연 발생. 270페이지 규모의 다국어 사이트에서 1주일간 약 13%의 낮은 인덱싱률을 보인 아키텍처적 한계 분석.
Technical Solution
- Google Indexing API를 활용한 Push 기반의 능동적 URL 통지 체계 구축
- GCP OAuth2 인증 흐름을 통한 Access Token 갱신 및 API 요청 권한 확보
- Content Directory의 MDX 파일을 순회하여 Indexable URL을 동적으로 생성하는 자동화 로직 설계
- CI/CD 파이프라인에 Indexing Script를 통합하여 배포 시점과 인덱싱 요청의 동기화 구현
- Bing URL Submission API를 병렬 적용하여 검색 엔진 노출 채널의 다각화 달성
- 실제 콘텐츠 수정 날짜 기반의 lastModified 필드 최적화로 Crawling 우선순위 신뢰도 향상
실천 포인트
1. GCP Console 내 Web Search Indexing API 활성화 여부 확인
2. OAuth2 Refresh Token을 이용한 자동 인증 갱신 프로세스 구축
3. sitemap.xml의 lastModified 값을 정적 날짜가 아닌 실제 수정일로 설정
4. 배포 파이프라인 내 URL Submission 스크립트 단계 추가