API 없는 정부 레지스트리, 숨겨진 JSON API로 자동화

Context

폴란드 금융감독청(KNF)의 75,000개 이상 금융 엔티티 데이터 조회 필요. 공식 API 부재로 인한 수동 복사-붙여넣기 방식의 비효율성 발생. 개별 검색 폼 기반의 인터페이스로 인한 대량 데이터 추출 불가능 구조.

Technical Solution

• w2ui JavaScript 그리드 라이브러리의 네트워크 통신 패턴 분석을 통한 숨겨진 JSON API 엔드포인트 식별
• 인증·쿠키·CSRF 토큰이 필요 없는 URL-encoded JSON POST 요청 구조 설계
• limit와 offset 파라미터를 활용한 페이지네이션 자동화 로직 구현
• 최대 요청 제한인 500개 단위의 배치 쿼리 최적화
• 정부 서버의 Rate Limit 대응을 위한 Exponential Backoff 기반 재시도 전략 적용
• e-RUP, RPKIP, RDL 3개 레지스트리의 공통 요청 규격을 통합한 단일 인터페이스 설계

Impact

• 엔티티당 추출 비용 $0.008 달성
• 1,000개 엔티티 처리 비용 약 $3 수준으로 최적화
• 200개 파트너 검증 시간 단위 변경 (하루 소요 $\rightarrow$ 수 분 내 완료)

Key Takeaway

프론트엔드 그리드 라이브러리가 사용하는 내부 API를 분석하여 공식 API가 없는 레거시 시스템의 데이터를 구조화된 형태로 전환하는 리버스 엔지니어링 전략.