피드로 돌아가기
Dev.toBackend
원문 읽기
비용 90% 절감 및 데이터 최신성 확보를 위한 Free-stack Lead Enrichment 파이프라인 설계
Lead Enrichment Pipeline: From Domain to Full Company Profile (Free Stack)
AI 요약
Context
고가의 SaaS 기반 데이터 도구(ZoomInfo, Apollo 등)의 과도한 구독 비용과 초기 단계 팀의 예산 제약 간의 불일치 발생. Person-level 데이터의 정확도는 높으나 Company-level 데이터의 최신성과 맞춤형 Intent 분석 능력이 부족한 기존 유료 솔루션의 한계 직면.
Technical Solution
- 8개 공개 소스(WHOIS, DNS, SSL, GitHub 등)를 통합한 데이터 Aggregator 설계를 통한 Company-level 정보 수집
- Per-source Backoff 전략을 적용하여 각 소스별 다른 Rate-limit과 Anti-bot 정책을 우회하는 병렬 처리 구조 구현
- SMTP Handshake 및 Catch-all Detection 로직을 통한 웹 추출 이메일의 유효성 검증 파이프라인 구축
- 단순 채용 여부가 아닌 특정 직군(Sales, Engineer, CFO) 채용 패턴 분석을 통한 맞춤형 Intent Scoring 함수 설계
- 스크래퍼와 Scoring 로직을 분리하여 ICP(Ideal Customer Profile) 변경 시 함수만 교체 가능한 Swappable Architecture 적용
실천 포인트
- 타겟 도메인 기반의 Company-level 데이터만으로 충분한지 판단하여 툴 체인 결정 - 외부 API 호출 시 Rate-limit 대응을 위한 지수 백오프(Exponential Backoff) 구현 여부 검토 - 데이터 추출 로직과 비즈니스 평가 로직(Scoring)을 분리하여 유지보수성 확보 - SMTP 핸드셰이크를 통한 이메일 유효성 검증 단계 추가로 Bounce Rate 관리