Passive Log 분석을 넘어 Heartbeat 기반의 Active Detection으로 Silent Failure 해결

Context

다수의 독립적 컴포넌트로 구성된 Automation Pipeline에서 개별 단계의 성공 여부만 확인하는 기존 방식의 한계 분석. Scheduler 미작동이나 Worker Hang 등 명시적 에러 로그가 남지 않는 Silent Failure로 인한 데이터 정합성 훼손 및 비즈니스 리스크 증대 상황.

Technical Solution

• 인프라 헬스체크가 아닌 '기대 실행(Expected Execution)' 여부를 추적하는 모니터링 패러다임 전환
• Pipeline의 시작, 핵심 단계 완료, 전체 프로세스 종료 시점에 맞춘 단계별 Heartbeat Signal 전송 설계
• Error Log 기반의 사후 분석 방식에서 특정 시간 내 Signal 미도착 시 경고를 발생시키는 Absence Monitoring 도입
• 분산된 로그 시스템의 파편화 문제를 해결하기 위해 통합된 체크포인트 기반의 실행 상태 추적 구조 채택
• 단순 Process Exit Code(0) 의존성을 탈피하여 실제 비즈니스 결과물 산출을 증명하는 최종 성공 신호 검증 로직 구현