SEC EDGAR API를 통한 0원 기반 고신뢰성 Fundamentals 데이터 파이프라인 구축

Context

유료 금융 데이터 API의 높은 비용 부담과 벤더 의존성으로 인한 데이터 투명성 부족 문제 발생. 원천 데이터 소스인 SEC EDGAR의 무료 JSON API를 활용하여 데이터 수집 비용을 제거하고 데이터 신뢰성을 확보하려는 시도.

Technical Solution

• CIK(Central Index Key) 기반 식별 체계 대응을 위한 Ticker-to-CIK 로컬 매핑 테이블 구축 및 주간 갱신 구조 설계
• /companyfacts 엔드포인트를 통한 2009년 이후의 전수 XBRL 데이터 일괄 수집 및 로컬 캐싱 전략 채택
• 데이터 정합성 확보를 위해 기업별로 상이한 XBRL Concept(Revenues vs SalesRevenueNet)를 내부 표준 명칭으로 변환하는 Normalization 레이어 구현
• Restated Filing 발생 시 최신 데이터를 선택하는 데이터 정제 로직을 통한 Backtest 신뢰도 향상
• SEC의 Rate Limit(10 requests/second) 준수를 위한 요청 스로틀링 및 분기별 갱신 주기 설정을 통한 트래픽 최적화
• Fundamentals 데이터와 외부 Market Data API(OHLC)를 결합한 하이브리드 데이터 파이프라인 구성