50개의 Cron Job을 BullMQ 기반 스마트 큐로 통합한 효율적 스케줄링 전략

Context

50개의 개별 Cron Job 운영으로 인한 관리 복잡도 증가. 작업 간 충돌 위험 및 실행 상태 확인을 위한 가시성 부족 문제 발생. 시스템 확장 및 유지보수의 구조적 한계 직면.

Technical Solution

• Redis 기반의 메시지 큐 라이브러리인 BullMQ 도입을 통한 작업 관리 중앙화
• 개별 프로세스 형태의 Cron 설정을 단일 큐 내의 Repeatable Job 방식으로 전환
• repeat 옵션의 Cron 표현식을 활용하여 작업별 실행 주기와 우선순위 제어
• Worker 프로세스 분리를 통한 작업 처리 로직의 독립적 확장 구조 설계
• 큐 기반의 상태 추적을 통해 개별 작업의 성공 및 실패 여부에 대한 가시성 확보
• 에러 핸들링 메커니즘을 통한 작업 실패 시 재시도 및 예외 처리 프로세스 단순화

Key Takeaway

분산된 스케줄러를 중앙 집중형 메시지 큐로 통합하여 운영 복잡도를 낮추고 시스템의 확장성과 관찰 가능성을 동시에 확보하는 설계 원칙.