피드로 돌아가기
Dev.toBackend
원문 읽기
Shopify Webhook 유실 방지를 위한 다중 계층 Retry 및 Reconciliation 전략
Stop Losing Shopify Webhooks: A Retry Strategy That Survives Real Outages
AI 요약
Context
Shopify의 Webhook Retry 정책이 4시간 내 최대 8회로 단축됨에 따라 장기 장애 발생 시 데이터 유실 위험 증가. 특히 지속적 실패 시 Webhook 구독 자체가 자동 해제되는 Silent Failure 구조로 인해 시스템 간 데이터 불일치 심화.
Technical Solution
- 5초 타임아웃 방지를 위해 비즈니스 로직을 분리하고 즉시 200 OK를 반환하는 Acknowledge Fast 구조 설계
- 수신된 Payload를 Queue에 적재하여 처리함으로써 Webhook 엔드포인트와 실제 처리 로직 간의 디커플링 구현
- 에러 타입을 Transient와 Permanent로 분류하여 무의미한 재시도를 방지하고 Permanent Error는 DLQ로 격리
- 수일 단위의 확장된 재시도 윈도우 확보를 위해 Jitter를 포함한 Exponential Backoff 알고리즘 적용
- X-Shopify-Event-Id 기반의 Idempotency를 보장하여 중복 처리로 인한 데이터 오염 방지
- Admin API 폴링을 통한 주기적 데이터 대조로 누락된 이벤트를 복구하는 Reconciliation 레이어 구축
실천 포인트
1. Webhook 핸들러 내에서 외부 API 호출이나 DB 쓰기 작업을 수행하는지 검토
2. 재시도 전략에 Jitter를 추가하여 Thundering Herd 문제 해결 여부 확인
3. Shopify의 최신 Retry 정책(4시간/8회)을 반영하여 타임아웃 설정 업데이트
4. DLQ에 쌓인 메시지를 수동으로 재처리할 수 있는 운영 도구 마련
5. 핵심 데이터에 대해 Admin API를 활용한 일일 정합성 체크 프로세스 도입