Symptom-based Alerting 전환을 통한 MTTD 8분 및 MTTR 45분 달성

Context

Prometheus, Grafana 기반의 표준 모니터링 스택을 운용하였으나 90%에 달하는 Alert Noise로 인해 실질적인 장애 감지 능력이 상실된 상태. 불필요한 Dashboard 유지와 개별 데이터 소스의 상관관계 분석 부재로 인한 장애 대응 지연 발생.

Technical Solution

• 단순 원인(Cause) 기반 알림에서 사용자 경험에 영향을 주는 증상(Symptom) 기반 알림 체계로의 전환
• CPU 사용량과 같은 인프라 지표 대신 Error Rate Spike와 같은 서비스 가용성 지표 중심의 Alert 설계
• 모든 Alert에 대응 절차가 포함된 Runbook 링크를 연결하여 인지 단계에서 조치 단계로의 전환 시간 단축
• 주간 Dashboard Review 프로세스 도입을 통한 불필요한 쿼리 제거 및 시각화 자산의 최신성 유지
• 로그, 메트릭, 트레이싱 간의 Correlation 비용을 줄이기 위한 분석 구조 최적화