경쟁사의 채용공고 데이터를 Apify로 자동 수집·분석하여 제품 발표 3~6개월 전에 경쟁 신호 감지

Context

경쟁사의 주요 제품 방향 전환이나 신기능 출시는 보도자료를 통해 후발적으로 파악되고 있다. LinkedIn과 채용 페이지에 공개된 신규 채용공고는 실제 예산 배분과 조직 역량 투입을 반영하지만, 이 신호를 모니터링하는 체계가 없어 정보 격차가 발생한다.

Technical Solution

• LinkedIn job scraper 액터로 경쟁사별 LinkedIn 회사 ID를 입력받아 주당 최대 100개의 공개 공고 수집
• website-content-crawler 액터로 경쟁사 채용 페이지를 최대 깊이 2단계, 최대 50개 페이지까지 크롤링하여 LinkedIn 미등록 공고 추출
• 직무 제목을 키워드 정규식으로 분류: ML/AI, Payments, Security, DevRel, Enterprise Sales, Infrastructure, Product, Other 8개 카테고리로 자동 태깅
• 현재주 직무별 채용 수와 전주 스냅샷을 비교하여 동일 함수에서 3명 이상 신규 채용이 발생한 경우를 Spike로 감지
• Spike 탐지 시 Slack 웹훅으로 자동 알림 발송
• 주당 전체 실행 시간이 5분 이내로 유지되도록 설계

Impact

상용 경쟁 정보 플랫폼(채용 신호 추적 포함)의 월 비용 $500~$2,000에 비해 Apify 무료 티어로 0달러 운영 가능. 3~5개 경쟁사를 주간 빈도로 모니터링할 수 있으며, 10개 이상 경쟁사를 일일 빈도로 감시할 경우에만 유료 티어 전환 필요.

Key Takeaway

채용공고는 보도자료와 달리 실제 경영진 수준의 의사결정과 예산 배분을 반영하므로 제품 발표보다 3~6개월 앞서 신호를 제공한다. 공개 데이터 자동 수집과 간단한 키워드 분류만으로도 월 수백 달러의 상용 도구 없이 경쟁 정보 기반의 의사결정 속도를 가속할 수 있다.