21세 개발자가 Python, Playwright, Claude Code로 자동화 리드 생성 파이프라인을 구축해 월 3달러 인프라 비용으로 일일 수백 개 프로필 생성

Context

C-level 경영진의 이름, 회사, 직무, LinkedIn URL 등 비즈니스 프로필을 수동으로 수집하는 작업은 매우 오래 걸렸다. 클라이언트는 이를 자동화할 수 있는 시스템이 필요했다.

Technical Solution

• Companies House API와 기업 웹사이트에서 회사 및 경영진 데이터를 스크래핑: Python과 Playwright 브라우저 자동화 활용
• 스크래핑된 데이터를 정제 단계에서 중복 제거, 이름 정규화, 데이터 검증 수행
• LinkedIn 및 기타 데이터 소스와 교차 검증으로 프로필 정보 보강: Enrich 스테이지에서 처리
• Google Sheets API를 통해 처리된 데이터를 클라이언트 스프레드시트로 동기화
• Ubuntu 서버에서 cron 작업으로 각 스테이지를 독립적으로 실행: 한 스테이지 실패 시 나머지는 계속 동작하도록 설계
• Docker를 사용해 파이프라인 서비스를 컨테이너화해 $150 Beelink Mini-S 미니 PC에서 24시간 365일 운영

Impact

• 일일 수백 개의 프로필을 자동으로 생성
• 월 인프라 비용 약 $3(전기료)
• 시스템 구축에 투자한 시간은 첫 날 내에 회수

Key Takeaway

Claude Code와 같은 AI 코드 생성 도구를 활용하면 라인별 작성 없이 요구사항을 설명하고 검토·개선하는 방식으로 개발 속도를 3~5배 높일 수 있다. 클라우드 VPS 없이도 저가 미니 PC에 Ubuntu, Docker, cron 작업을 구성해 고정 월 비용 없이 지속적인 자동화 시스템을 운영할 수 있다.