AI Agent 기반 자동 장애 분석으로 MTTR 65% 감소 달성

Context

온콜 엔지니어가 PagerDuty, Datadog, GitHub 등 다수 도구를 교차 확인하며 발생하는 높은 인지 부하와 분석 시간 지연 문제 발생. 수동 분석 시 숙련도에 따라 15분에서 수 시간까지 소요되는 병목 지점 확인.

Technical Solution

• API Gateway의 30초 Timeout 제약을 해결하기 위해 Sync Lambda(검증 및 호출)와 Async Lambda(실제 분석)로 분리한 Two-Lambda 아키텍처 설계
• 장애 원인의 80% 이상이 변경 사항에 있다는 가설에 기반하여 Datadog보다 GitHub Commit 내역을 우선 분석하는 순차적 워크플로우 적용
• 다중 AWS Region 환경에서 신호 혼선을 방지하기 위해 Alert 메타데이터 기반의 Region Lock을 통한 쿼리 스코핑 구현
• Amazon Bedrock(Claude Opus)의 Tool-Use Loop를 활용하여 외부 API 데이터를 스스로 수집하고 상관관계를 추론하는 Agent 구조 채택
• 최종 분석 결과를 MS Teams Adaptive Card로 정형화하여 전달함으로써 엔지니어의 상황 파악 시간 최소화