7개 거래소 API 파편화 해결을 통한 12초 주기 데이터 정규화 파이프라인 구축

Context

거래소마다 상이한 Funding Rate 데이터 포맷과 API 응답 구조로 인한 통합 수집의 어려움 발생. 단일 호출로 필요한 모든 데이터를 제공하는 표준 API의 부재로 인한 데이터 조립 비용 증가.

Technical Solution

• 거래소별 응답 특성에 따른 맞춤형 Fetch 전략 수립을 통한 데이터 정규화 구조 설계
• OKX의 개별 심볼 호출 제약을 해결하기 위해 ThreadPoolExecutor 기반 8개 Worker 병렬 처리 도입
• Funding Interval의 부재 시 fundingTime과 prevFundingTime의 차이값을 통한 동적 계산 로직 구현
• (Exchange, Symbol, Fetched_at) 복합 기본키 설계를 통한 시계열 이력 데이터 보존 및 SQLite 저장
• 1000-multiplier 코인 등 교차 거래소 매칭이 모호한 데이터의 필터링을 통한 데이터 정합성 확보
• 과도한 추상화 대신 7개의 개별 Fetch 함수를 통한 직관적이고 유지보수가 용이한 파이프라인 구성

Impact

• OKX 데이터 수집 시간을 순차 처리 대비 85초에서 8초로 약 90% 단축
• 7개 거래소 3,700개 이상의 심볼 전체 사이클 수집 시간을 총 12초 이내로 최적화