피드로 돌아가기
Dev.toDatabase
원문 읽기
PostGIS와 AsyncIO 기반 3.8만 개 보육시설 위치 기반 검색 플랫폼 구축
How I Built a Childcare Availability Platform for 38,000 French Nurseries
AI 요약
Context
분산된 18종의 공공 데이터 포맷과 실시간 API 부재로 인한 정보 파편화 발생. 수동 검색 프로세스로 인한 사용자 진입 장벽과 데이터 최신성 유지의 어려움 존재.
Technical Solution
- CAF CSV를 Authoritative Registry로 설정하여 38,427개 기관의 데이터 정합성 확보
- BAN API의 Rate Limit(10 req/s) 대응을 위한 asyncio 기반 Batch Geocoding 파이프라인 설계
- PostGIS의 geography 타입과 GiST Index를 활용한 반경 기반 고속 근접 검색 쿼리 구현
- SIREN lookup API를 통한 전화번호 및 이메일 데이터의 점진적 Enriching 전략 채택
- 실시간 API 부재를 해결하기 위해 User-reported signal 기반의 Crowdsourcing 가용성 추적 시스템 도입
- 월 단위 CAF 데이터 리프레시 프로세스를 통한 데이터 Freshness 유지 체계 구축
실천 포인트
1. API Rate Limit 존재 시 asyncio/aiohttp를 통한 동시성 제어 및 배치 처리 검토
2. 지리 정보 검색 시 B-Tree 대신 PostGIS GiST 인덱스를 사용하여 쿼리 성능 최적화
3. 외부 API 부재 시 사용자 피드백(Crowdsourcing)을 통한 데이터 상태 업데이트 모델 고려