피드로 돌아가기
Dev.toInfrastructure
원문 읽기
IndexNow와 Google API 기반 30개 사이트 자동 인덱싱으로 색인 지연 해결
Auto-Indexing 30 Sites with IndexNow and Google Indexing API
AI 요약
Context
30개 소규모 사이트 운영 중 Sitemap 기반의 검색 엔진 자동 발견 시스템이 일주일 이상의 긴 지연 시간을 초래함. 특히 시간 민감성 콘텐츠의 검색 노출 누락으로 인한 기회비용 발생이 병목 지점으로 파악됨.
Technical Solution
- systemd timer를 활용한 6시간 주기 diff worker 구동으로 신규 및 변경 URL 자동 탐지
- IndexNow(HTTP POST)와 Google Indexing API를 병행 적용하여 검색 엔진별 전송 프로토콜 최적화
- AbortSignal.timeout(20s) 설정을 통한 특정 사이트 응답 지연 시 전체 파이프라인 블로킹 방지
- Sitemap Index 구조 대응을 위한 2단계 재귀적 URL 확장 로직 설계
- Disk 기반 JSON Snapshot 비교를 통한 상태 유지 및 중복 제출 방지 구조 구현
- 리소스 낭비 방지를 위해 Content Hashing 대신 Sitemap 기반의 단순 Diff 방식 채택
실천 포인트
- 외부 API 호출 시 반드시 AbortSignal 등을 통한 명시적 Timeout 설정 여부 확인 - 전체 데이터 재작성 비용이 커질 경우 JSON 파일 대신 SQLite 등 경량 DB 도입 검토 - API 쿼터 제한이 있는 서비스(Google API 등)와 개방형 프로토콜(IndexNow)의 전략적 분산 활용