Redis 기반 Catch and Release 패턴으로 Webhook Flood 및 Event Loop Block 해결

Context

외부 벤더의 대규모 Webhook 유입 시 동기식 데이터 처리로 인한 Node.js Event Loop Block 발생. DB Connection Pool 고갈과 메모리 급증에 따른 API Timeout 및 데이터 유실 가능성 상존.

Technical Solution

• HTTP 응답과 데이터 처리 로직을 분리하는 Decoupling 전략 채택
• Express 서버를 단순 수신자로 제한하여 raw payload를 Redis 기반 BullMQ에 즉시 적재하는 구조 설계
• HTTP 202 Accepted 응답을 즉각 반환하여 외부 벤더와의 연결 시간을 최소화한 Connection Release 구현
• 별도 프로세스로 동작하는 BullMQ Worker를 통한 비동기 데이터 변환 및 DB 삽입 수행
• Exponential Backoff 전략을 적용한 재시도 메커니즘으로 DB 락 상황에서의 데이터 안정성 확보
• Redis를 Shock Absorber로 활용하여 트래픽 스파이크를 완충하고 DB 처리 속도에 맞춘 처리량 조절