피드로 돌아가기
GeekNewsDevOps
원문 읽기
auto-identity-remove - macOS, Linux, Windows용 자동 데이터 브로커 옵트아웃 실행기
500개 브로커 대상 Playwright 기반 자동 Opt-out 시스템 구축
AI 요약
Context
수백 개의 데이터 브로커 사이트마다 상이한 Opt-out 양식으로 인한 수동 제거 작업의 비효율성 발생. 단순 폼 제출을 넘어 CAPTCHA 및 사이트별 고유 셀렉터 대응이 필요한 복잡한 자동화 환경임.
Technical Solution
- Playwright 기반 Headless Browser를 활용한 동적 웹 페이지 제어 및 양식 자동 제출 구조 설계
- 명시적 매핑(42개)과 휴리스틱 탐색(약 490개)을 병행하는 2단계 브로커 처리 전략 도입
- state.json을 통한 실행 이력 관리 및 90일 주기 재확인 로직으로 중복 요청 방지
- CapSolver API 연동을 통한 CAPTCHA 자동 해결 및 실패 시 수동 처리 목록 전환 프로세스 구축
- OS별 스케줄러(launchd, systemd, crontab, schtasks) 자동 감지 및 등록 기능을 통한 월간 자동화 구현
- ntfy.sh 및 Slack/Discord Webhook을 활용한 헤드리스 환경 알림 시스템 통합
실천 포인트
1. 대규모 외부 사이트 자동화 시 하드코딩된 셀렉터 외에 공통 패턴 기반의 휴리스틱 전략 수립 여부 검토
2. 상태 저장 파일(state.json)의 외부 마운트를 통한 컨테이너 환경의 상태 유지 설계 적용
3. 자동화 실패 시의 Fallback 경로(수동 처리 목록 전환) 및 알림 체계 구축 확인
4. 개인정보 처리를 포함한 자동화 도구의 Dry-run 모드 구현을 통한 데이터 유출 방지 검증