CoinGecko Public API 기반 250배 요청 최적화 및 Rate Limit 회피 전략

Context

가상자산 데이터 수집 시 API Key 관리와 유료 플랜 도입에 따른 운영 공수 발생. 개별 코인 단위의 잦은 요청으로 인한 Rate Limit 도달이 주요 병목 지점으로 작용.

Technical Solution

• per_page 파라미터를 최대치인 250으로 설정하여 단일 요청당 데이터 밀도를 극대화한 설계
• 1,000개의 코인 수집 시 요청 횟수를 1,000회에서 4회로 단축한 Batch Fetching 전략 적용
• HTTP 429 응답 발생 시 15초의 Short Backoff 및 Retry 로직을 통한 시스템 안정성 확보
• 특정 코인만 필요한 경우 ids 파라미터를 활용해 서버 사이드 필터링을 수행하는 Watchlist 모드 구현
• 반복적인 Paging 로직을 추상화하여 호출 가능한 Actor 형태로 패키징한 인프라 구성

Impact

• 단일 요청당 수집 데이터 양 1개에서 250개로 확장하여 API 호출 횟수 99.6% 감소