HTTP 타임아웃 해결, BullMQ 기반 비동기 작업 처리 전략

Context

HTTP 요청 주기 내 무거운 작업 수행 시 타임아웃 발생. CPU 집약적 작업이나 외부 API 호출로 인한 UX 저하. 동기식 처리 구조의 신뢰성 한계.

Technical Solution

• 요청 주기와 작업 처리를 분리하는 Producer-Worker 아키텍처 도입
• Redis 기반 큐잉 시스템을 통한 작업 상태 관리 및 영속성 확보
• 지수 백오프(Exponential Backoff) 전략을 적용한 자동 재시도 메커니즘 설계
• Cron 표현식 기반의 주기적 작업 스케줄링 구조 구현
• FlowProducer를 통한 작업 간 의존성 정의 및 순차적 실행 파이프라인 구축
• 전역 Rate Limiting 설정을 통한 외부 API 호출 속도 제어 및 시스템 과부하 방지

Key Takeaway

사용자 응답 속도 최적화를 위해 무거운 로직을 비동기 큐로 위임하고, 작업 간의 의존성과 실행 속도를 제어하는 오케스트레이션 설계가 중요함.