AI 기반 Triage 최적화로 장애 진단 초기 15분 골든타임 확보

Context

장애 발생 시 방대한 로그와 대시보드 분석으로 인한 Triage 단계의 시간 소요 및 인지 부하 발생. 수면 부족 및 시간 압박 상태의 엔지니어가 실행하는 성급한 명령어로 인한 2차 장애 위험 상존.

Technical Solution

• AI를 'Read-only 분석가'로 제한하고 인간을 'Execution 주체'로 분리한 Human-in-the-loop 구조 설계
• Alerts, Logs, Deploy History를 통합 입력하여 가설 기반의 Read-only 확인 명령어 도출 로직 적용
• 명령어를 Blast Radius(Safe, Caution, Destructive) 기준 3단계로 분류하여 안전한 진단부터 수행하는 Risk-based Ordering 체계 구축
• 장애 발생 시점과 인프라 변경 이력의 시계열 상관관계 분석을 통한 Root Cause 후보군 압축
• 조사와 동시에 외부 공지 및 내부 업데이트를 생성하는 비동기 커뮤니케이션 워크플로우 도입
• Incident Channel의 전체 대화 맥락을 기반으로 Blameless Postmortem 초안을 자동 생성하는 파이프라인 구성