피드로 돌아가기
Dev.toBackend
원문 읽기
FCA API 활용 및 Rate Limit 제어를 통한 KYC 데이터 파이프라인 구축
How I built an FCA Register scraper on Apify (and why it's the B2B data gap nobody talks about)
AI 요약
Context
영국 내 금융 서비스 기업의 규제 상태 및 권한 검증을 위한 FCA Register 데이터 확보 필요성 증대. 기존 Apify Marketplace 내 관련 Scraper 부재로 인한 B2B 데이터 공백 발생.
Technical Solution
- Browser Automation을 배제하고 fetch 기반의 Pure HTTP Request 구조를 채택하여 리소스 최적화 구현
- API Rate Limit(60초당 100회 요청) 준수를 위해 호출 간 최소 700ms 간격을 유지하는 rateLimit 로직 설계
- Firm 상세 정보, 주소, 명칭, 권한 등 분산된 4개 엔드포인트를 통합하여 단일 Firm Profile로 정규화하는 Enrichment 프로세스 구축
- 검색 기반의 searchFirms 모드와 특정 FRN 기반의 lookupFirms 모드를 구분하여 Prospecting과 KYC 워크플로우에 최적화된 인터페이스 제공
- 비정형 데이터 구조인 Permissions 엔드포인트의 Key-Value 쌍을 표준 리스트 형식으로 변환하는 Normalization 로직 적용
실천 포인트
- 공식 API 존재 여부를 최우선 확인하여 불필요한 DOM Parsing 비용 제거 - 외부 API 연동 시 서버 부하 방지를 위한 Client-side Throttling 또는 Queue 기반의 Rate Limiter 도입 검토 - 분산된 API 응답 데이터를 비즈니스 요구사항에 맞게 단일 객체로 통합하는 Data Normalization 레이어 설계