구글도 못 찾는 인터넷 90%, Web Agent로 해결하는 데이터 접근 전략

Context

전통적인 검색 엔진은 정적 URL 기반의 Crawling 모델을 사용. 로그인, 폼 입력, JavaScript 렌더링이 필요한 인터랙티브 콘텐츠 접근에 구조적 한계 존재. 웹 콘텐츠의 대다수를 차지하는 Deep Web 데이터 수집 불가능.

Technical Solution

• 단순 페이지 읽기 방식에서 페이지 내 동작을 수행하는 인터랙션 기반 접근 방식으로 패러다임 전환
• React, Vue, Angular 등 SPA 환경의 동적 콘텐츠 렌더링을 위해 실제 브라우저 환경을 모사하는 실행 엔진 활용
• 로그인, 2FA 인증, 다단계 체크아웃 흐름을 처리하는 Agentic Search 및 Web Agent 도입
• 쿼리 입력과 필터 적용 후 생성되는 동적 데이터(Dynamic Pricing, Inventory)를 실시간으로 추출하는 워크플로우 설계
• AI 에이전트가 시각적 인터페이스 대신 구조화된 도구를 직접 호출하는 WebMCP 표준 도입 추진

Impact

• Surface Web의 비중은 전체 웹 콘텐츠의 4-10% 수준으로 매우 낮음
• Deep Web이 전체 웹의 약 90-96%를 차지하며 대부분의 비즈니스 핵심 데이터 포함
• Dark Web은 Deep Web의 약 0.01%에 불과한 극소수 영역으로 확인

Key Takeaway

데이터 접근성 확보를 위해서는 단순 인덱싱을 넘어 웹 페이지와 상호작용할 수 있는 Agentic 아키텍처 설계가 필수적임.