XML 파싱 지옥 탈출, SEC Form 4 데이터를 Clean JSON으로 전환

Context

SEC EDGAR 시스템의 중첩된 XML/SGML 문서 구조로 인한 데이터 추출 난이도 상승. Ticker Symbol을 CIK 번호로 매핑해야 하는 번거로운 조회 과정 필요. 필터링 및 페이지네이션 기능 부재로 인한 과도한 클라이언트 사이드 로직 구현 부담.

Technical Solution

• 복잡한 XML/SGML 스키마를 추상화하여 표준화된 Flat JSON 구조로 변환하는 API 설계
• CIK 매핑 테이블을 내장하여 Ticker 기반의 직접 쿼리가 가능한 검색 인터페이스 제공
• Form 4 전용 필터링 엔진을 적용하여 불필요한 공시 서류를 배제하고 내부자 거래 데이터만 추출
• XBRL/XML 내의 nonDerivativeTransaction 및 derivativeTransaction 요소를 분석하는 전용 파서 구현
• REST API 기반의 엔드포인트를 통해 복잡한 파싱 로직을 서버 사이드로 캡슐화
• SEC의 Rate Limit(10 req/sec) 및 User-Agent 제약 조건을 처리하는 프록시 계층 운용

Impact

• 데이터 추출 및 파싱에 소요되던 개발 기간을 최소 1주일에서 API 호출 수준으로 단축
• 파이썬 기반 모니터링 스크립트 구현 분량을 약 30라인 내외로 경량화

Key Takeaway

복잡한 레거시 데이터 규격을 현대적인 인터페이스로 추상화함으로써 도메인 로직 구현의 복잡도를 획기적으로 낮추는 API Wrapper 전략의 효율성 확인.