피드로 돌아가기
Dev.toAI/ML
원문 읽기
Google/Cloudflare의 접근 제한으로 인한 Local Index 기반 Retrieval 전환
Two Gates Are Closing on AI Web Scraping
AI 요약
Context
저비용의 Broad Web Search와 Scraping 루프에 의존하던 기존 AI Agent 아키텍처의 한계 발생. Google의 API 제약과 Cloudflare의 Bot 차단 정책으로 인해 실시간 외부 데이터 Fetching의 불확실성 및 비용 증가.
Technical Solution
- Search 레이어의 제약을 극복하기 위한 Brave Search API 및 SearXNG 기반의 대체 Search Path 설계
- Site-access 레이어의 Bot-wall 회피를 위한 Cached Material 및 Reader Service 활용 구조 도입
- 외부 API 호출 횟수 최소화를 통한 비용 절감 및 지연 시간 개선을 위한 Local-first Agent 설정 적용
- YaCy를 활용한 Decentralized Crawling 및 Peer-to-Peer Index 공유 기반의 자가 호스팅 Search Appliance 구축
- LLMSearchIndex를 통한 2억 개 이상의 웹 페이지 사전 학습 기반 Local Retrieval Layer 구현으로 외부 Fetching 의존도 제거
실천 포인트
- 외부 Search API 의존도를 낮추기 위한 Local Index 또는 Prebuilt Corpora 도입 검토 - Hot Path에서 고비용의 External Call을 제거하고 Local Retrieval을 우선 처리하는 계층형 아키텍처 설계 - Cloudflare 등 Bot 방어 솔루션에 대응하는 Retrieval 전략(Cache, Proxy) 수립 - 데이터 셋 규모(예: 200M+ pages) 대비 필요한 하드웨어 리소스(RAM 6GB, Disk 10GB) 산정 및 최적화