OAuth와 Rate Limit 지옥 탈출, Xero 데이터를 PostgreSQL로 자동 동기화

Context

Xero API의 복잡한 OAuth 2.0 인증과 테넌트 선택 과정이 통합 진입장벽으로 작용. 분당 60회라는 엄격한 API 호출 제한으로 인해 대량 데이터 추출 시 파이프라인 유지보수 비용 급증. 페이지 기반 페이지네이션 구조로 인한 쿼리 복잡도 및 데이터 정합성 유지의 어려움.

Technical Solution

• Codeless Sync를 활용한 OAuth 인증 흐름 및 테넌트 선택 과정의 완전 자동화
• API 호출 제한 회피를 위해 변경된 레코드만 가져오는 Incremental Sync 전략 채택
• Xero의 10가지 핵심 데이터 타입을 PostgreSQL 테이블 스키마로 자동 매핑하여 데이터 구조 단순화
• 외부 API 의존성을 제거하고 로컬 PostgreSQL에서 SQL JOIN을 통한 데이터 분석 구조 설계
• 토큰 만료 전 자동 갱신 및 실패 시 복구 로직을 내장한 관리형 파이프라인 도입

Impact

• API 호출 제한: 분당 60회, 일일 5,000회, 조직당 동시 요청 5회
• 무료 티어 범위: 최대 25개 연결 조직까지 무료 제공

Key Takeaway

• API 기반의 외부 데이터 통합 시 초기 구축 비용보다 토큰 관리와 Rate Limit 대응이라는 운영 유지보수 비용(Operational Overhead)을 우선적으로 고려하는 설계가 필요함.