Eventual Consistency 극복을 위한 Idempotency 및 비동기 큐 기반 분산 시스템 설계

Context

Shopify와 같은 대규모 분산 커머스 인프라의 가용성 우선 정책으로 인한 데이터 불일치 발생. 동기식 처리와 Strong Consistency의 한계로 인해 발생하는 Webhook 누락 및 중복 처리 문제를 해결해야 하는 상황.

Technical Solution

• 중복 처리 방지를 위해 Resource ID와 Topic을 조합한 Deduplication Key 기반 Idempotent Handler 설계
• HTTP 레이어의 부하를 제거하고 안정적인 처리를 위해 Webhook 수신 즉시 Queue로 전달하는 비동기 잉제스션 구조 채택
• 시스템 복구 시 발생하는 Retry Storm 방지를 위해 Exponential Backoff와 Jitter를 적용한 재시도 전략 구현
• 데이터 충돌 제거를 위해 도메인별 Source of Truth를 명확히 정의하여 단방향 데이터 흐름 강제
• Webhook의 신뢰성 한계를 보완하기 위해 updated_at 필터 기반의 Cursor-based Polling Fallback 메커니즘 구축
• Stale Write 방지를 위해 Optimistic Concurrency Control을 통한 쓰기 충돌 감지 및 제어