피드로 돌아가기
Dev.toBackend
원문 읽기
How to Search SEC EDGAR Filings by Ticker, Company Name, or CIK (Without Paying for an API)
SEC EDGAR API의 복잡한 파싱과 레이트 리미팅 문제를 Apify 액터로 래핑하여 2-3초 내 정제된 JSON 응답 제공
AI 요약
Context
SEC EDGAR API는 회사 조회 시 CIK 기반의 중첩된 JSON 구조로 응답하며, 페이지네이션과 10req/s 레이트 리미팅으로 인해 데이터 추출 작업이 2-4시간 소요된다. 상용 API 서비스(sec-api.io $49/월, Quandl $29/월)는 비용이 높아 저용량 사용자에게 진입장벽이 크다.
Technical Solution
- 회사 해석 계층 추가: ticker, 회사명, CIK 입력값을 정규화하여 EDGAR 사내 CIK 매핑 자동 해결
- 페이지네이션 자동화: recentFilings 인라인 배열과 별도 CIK0001234567-submissions-001.json 파일들을 순차 병합하여 완전한 filing 이력 제공
- 레이트 리미팅 관리: 10req/s 제약과 User-Agent 필수 요건을 액터 내부에서 처리하여 사용자 스크립트 영향 제거
- 데이터 평탄화: 중첩 배열 구조(날짜 배열, accession 배열 병렬)를 flat JSON으로 변환하여 직접 문서 URL 접근 가능
- 필터링 엔드포인트: formTypes(10-K, 10-Q, 8-K, 4 등)와 dateFrom 파라미터로 filing 범위 제한
Impact
- 응답 시간: 2-3초/회사
- 비용: Apify 기준 $0.005/회사 조회
- 결과 형식: JSON, CSV, Excel 3가지 export 지원
Key Takeaway
SEC EDGAR 같은 공개 API의 높은 파싱 비용(페이지네이션, 중첩 구조, 레이트 리미팅)은 데이터 래핑 계층(Apify 액터 등)으로 추상화하면 사용자 진입장벽을 대폭 낮출 수 있으며, 이는 재무 분석, 규정 준수 모니터링, 실사 워크플로우 등 다양한 실무 케이스에 즉시 적용 가능하다.
실천 포인트
금융 데이터 통합이 필요한 팀에서 공개 API의 복잡한 페이지네이션과 중첩 구조 문제를 직면할 때, Apify 액터나 유사한 데이터 래핑 서비스를 통해 정제된 flat JSON을 $0.005 수준의 저가 비용으로 얻을 수 있다면, 상용 API 구독($29-49/월) 대신 pay-as-you-go 모델을 선택해 월 100회 미만의 저용량 쿼리에서 최대 90% 비용 절감이 가능하다.