피드로 돌아가기
Dev.toDevOps
원문 읽기
AI 기반 Alert Storm 클러스터링을 통한 SRE On-call 피로도 최적화
Humanizing Artificial Intelligence for SRE Teams: Reducing Alert Fatigue With Smarter AI Guidance
AI 요약
Context
단일 머신 상태 기반의 단순 임계치 알람 설정으로 인한 과도한 Alert Fatigue 발생. 특히 인프라 장애 시 수십 개의 연쇄 알람이 발생하는 Alert Storm 상황에서 근본 원인 파악에 과도한 인지적 비용 소모.
Technical Solution
- User-facing SLO 기반의 Symptom-based Alerting 체계 도입을 통한 노이즈 원천 차단
- Multi-window Burn Rate 로직을 적용하여 Error Budget 소진 속도에 따른 차등 알람 설계
- LLM을 활용한 Alert Clustering 구조를 통해 수십 개의 알람을 하나의 Root Cause와 하위 영향도로 그룹화
- AI의 역할을 '자율 제어'가 아닌 '가설 제시 및 Runbook 추천'으로 제한하는 Human-in-the-loop 설계
- Confidence Level 표기 및 검증 가능한 Next Check 단계 제시를 통한 의사결정 지원 구조 구축
- AI 추천 결과에 대한 엔지니어의 피드백을 다시 Rule 최적화에 반영하는 선순환 루프 구성
실천 포인트
- 최근 한 달간의 Page 기록을 분석하여 Actionable 하지 않은 알람 비중이 33% 초과 시 Rule부터 재설계 - 하드웨어 임계치 알람을 제거하고 User-facing SLO 기반의 Symptom-based 알람으로 전환 - LLM 도입 시 자동 복구(Auto-remediation) 기능을 배제하고 가설 제시 및 Runbook 매핑 단계까지만 적용