Chrome CDP 기반 브라우저 자동화로 AI 에이전트의 동적 웹 상호작용 구현

Context

정적 Request 방식의 스크래핑은 JavaScript 렌더링 기반의 현대적 웹사이트에서 데이터 추출 실패와 사용자 인터랙션 불가라는 한계 발생. 특히 SPA 기반 대시보드나 로그인 세션이 필요한 복잡한 워크플로우 처리에 구조적 제약 존재.

Technical Solution

• Chrome DevTools Protocol(CDP)을 활용한 브라우저 제어 레이어 구축으로 실제 브라우저 인스턴스 직접 제어
• 데이터 성격에 따라 Fetch(정적), Search(탐색), CDP(동적/인터랙티브)로 경로를 분기하는 Dynamic Tool Switching 전략 채택
• 각 액션 단계마다 렌더링 상태와 데이터 출현 여부를 확인하는 Checkpoint 검증 로직을 통한 실행 성공률 제고
• 로컬 브라우저 세션 공유를 통한 인증 우회 및 로그인 상태 유지 기반의 워크플로우 자동화 구현
• 병렬 탭 실행 구조를 통한 다중 소스 리서치 및 데이터 병합 처리 효율화