Heartbeat Monitoring 기반 Scheduled Pipeline Silent Failure 해결

Context

GitLab Scheduled Pipeline은 백그라운드 실행 특성상 실패 시 즉각적인 인지가 어려움. 기존 Uptime Monitoring 및 Commit 기반 Pipeline 알림만으로는 Schedule 설정 오류나 CI configuration drift로 인한 실행 누락을 감지하지 못하는 한계 존재.

Technical Solution

• Silent Failure 방지를 위한 외부 신호 기반 Heartbeat Monitoring 아키텍처 도입
• Pipeline의 최종 Stage에 성공 신호를 전송하는 Ping 로직을 배치하여 실행 완료 여부를 명시적으로 검증
• 단순 GitLab 알림에 의존하지 않고 외부 모니터링 시스템에서 신호 미수신 시 Alert를 발생시키는 Negative Check 방식 채택
• 각 Scheduled Pipeline별로 개별 Heartbeat Monitor를 할당하여 상호 간섭을 배제하고 장애 지점을 명확히 식별
• Dependency failure 및 Credential 만료 등 내부 로직 실패 시 Ping 전송 단계에 도달하지 못하도록 설계하여 정밀한 상태 추적 구현