Execution Time 기반 Anomaly Detection을 통한 Laravel Queue Silent Failure 해결

Context

Job의 단순 성공 상태 값만으로는 실제 비즈니스 로직의 정상 수행 여부를 판단하기 어려운 한계 존재. 특히 Error 없이 종료되나 실제로는 아무런 동작을 하지 않는 Silent Failure로 인한 가시성 결여 문제 발생.

Technical Solution

• Execution Time 분석을 통한 Anomaly Detection 로직 도입으로 비정상적으로 짧은 수행 시간(예: 500ms → 5ms)을 갖는 Job 탐지
• 동일 Stack Trace를 기반으로 한 Error Grouping 구현으로 반복적 장애 분석 비용 최적화
• DLQ(Dead Letter Queue) 내 Job의 JSON Payload 직접 수정 및 Bulk Retry 기능을 통한 운영 복구 프로세스 효율화
• Worker Heartbeat 모니터링을 통한 인프라 수준의 Worker 생존 상태 실시간 추적
• Slack, PagerDuty 등 외부 Webhook 연동을 통한 Critical Issue 즉시 전파 체계 구축