Puppeteer 기반 무거운 E2E 도구를 CLI 기반 경량 Scraper로 전환하여 작업 효율 극대화

Context

단순 데이터 추출 작업에 Puppeteer와 같은 Heavy한 Browser Testing Framework를 도입하여 발생하는 오버헤드 분석. 전체 브라우저 설치로 인한 200MB 이상의 리소스 낭비와 복잡한 Async/Await 체인 및 예외 처리로 인한 개발 생산성 저하가 핵심 문제임.

Technical Solution

• Browser → Page → Frame → Element로 이어지는 복잡한 계층 구조를 Command-line Interface로 추상화하여 인지 부하 감소
• 정교한 API 제어 대신 'Open-Get-Screenshot' 중심의 단순 명령 체계 설계로 단순 추출 작업의 절차 간소화
• 프로젝트 설정 및 Boilerplate 코드 작성을 제거한 단일 명령 실행 구조 채택
• JS 실행이 필수적인 Client-side Rendering 환경 대응을 위해 Browser Engine은 유지하되 인터페이스만 CLI로 경량화
• 목적에 맞는 도구 선택(Right Tool for the Right Job) 전략을 통한 E2E 테스트 도구와 단순 Scraper의 역할 분리