Shopify Webhook 손실 제로화를 위한 DLQ 기반 비동기 처리 아키텍처 설계

Building a Dead Letter Queue for Shopify Webhooks (Production-Ready Guide)

Muhammad Masad Ashraf2026년 5월 18일13분intermediate

AI 요약

Context

Shopify의 기본 Retry 메커니즘은 최대 19회 시도 후 데이터를 영구 삭제하는 한계 존재. 결제 및 재고 관리와 같은 비즈니스 크리티컬 데이터의 유실을 방지하기 위한 자체적인 안전장치 필요.

HTTP Handler에서 즉시 200 OK를 반환하여 Shopify 타임아웃을 방지하는 Non-blocking 수신 구조 설계
Redis 기반 Bull Queue를 도입하여 수신과 처리를 분리한 Asynchronous Processing 구현
Transient Error(네트워크 장애, 429 Rate Limit)와 Permanent Error를 구분하여 처리하는 Error Categorization 로직 적용
최대 6회 Exponential Backoff 전략을 통해 시스템 부하를 조절하며 재시도 수행
모든 재시도 실패 건과 영구 오류 건을 PostgreSQL 기반 DLQ에 저장하여 데이터 가시성 및 수동 복구 가능성 확보
p-limit를 활용한 Batch Processing으로 DLQ 재처리 시의 동시성 제어 및 메모리 효율 최적화

실천 포인트

1. Webhook 엔드포인트에서 비즈니스 로직을 직접 실행하고 있지는 않은가?

2. 429 Too Many Requests와 같은 일시적 오류를 구분하여 Exponential Backoff를 적용했는가?

3. 재시도 횟수 초과 시 데이터를 안전하게 보관할 저장소(DLQ)가 마련되어 있는가?

4. DLQ에 쌓인 메시지를 처리할 때 Concurrency Limit을 설정하여 DB 부하를 방지했는가?

태그