Hybrid OSINT Pipeline 도입을 통한 데이터 매칭률 79% 달성 및 비용 90% 절감

Context

기존 Database-First 방식의 데이터 최신성 결여로 인한 낮은 매칭 정확도 발생. 평균 3~18개월의 데이터 지연으로 인해 약 22%의 연락처 정보가 실제와 불일치하는 병목 지점 확인.

Technical Solution

• Discovery, Enrichment, Trigger의 3계층 Signal Stack 구조 설계를 통한 실시간 데이터 파이프라인 구축
• Phonebook.cz 및 GitHub Public API를 활용한 Free-tier 우선 탐색 로직으로 유료 API 호출 최소화
• Confidence Score 0.8 이상의 검증 데이터 확보 시 유료 단계 스킵을 통한 비용 최적화 Waterfall 구조 구현
• Supabase/Airtable 기반의 Idempotency Check 노드 배치로 중복 신호에 의한 리소스 낭비 및 스팸 리스크 방지
• n8n의 Self-hosted 환경을 통한 임의 HTTP Call 처리 및 커스텀 OSINT API 통합 유연성 확보

Impact

• 데이터 매칭률: 기존 Apollo(61%) 대비 OSINT 파이프라인(79%)으로 약 18%p 향상
• 운영 비용: 연락처당 약 $0.003 수준으로 유료 서비스 대비 획기적 비용 절감
• 데이터 신선도: Near real-time 수준의 트리거 기반 업데이트 체계 확보

Key Takeaway

고비용의 외부 API 의존도를 낮추기 위해 공개 소스(OSINT)를 전처리 계층으로 배치하는 하이브리드 전략의 유효성 입증.