RAG 기반 AI Agent 도입을 통한 MTTR 95% 절감 및 인시던트 대응 자동화

The Runbook Is Already Lying to you.

Iyanu David2026년 5월 17일10분advanced

AI 요약

Context

배포 속도 증가와 인프라 변경으로 인해 정적 Runbook의 최신성 유지가 불가능한 엔트로피 발생. SRE가 파편화된 텔레메트리 데이터를 수동으로 상관 분석하며 발생하는 인지 부하 및 대응 지연 문제 직면.

PagerDuty, CloudWatch 등 Alert Payload를 트리거로 하는 LLM 기반 Incident Agent 설계
Vector Index를 활용한 Runbook, Postmortem, Architecture Docs의 Semantic Retrieval 구조 구현
Retrieval-Augmented Generation(RAG)을 통해 Alert 데이터와 컨텍스트 창 내 지식 베이스를 결합한 추론 로직 적용
kubectl, API Call 등 실제 인프라 제어가 가능한 Tool-use 기능을 통한 관찰-행동 루프 구축
데이터 품질 저하 방지를 위해 Postmortem 내 Failure Signature 필드 도입 및 YAML Frontmatter 기반 메타데이터 구조화
에이전트의 Confidence Score 임계값 설정을 통한 불확실성 기반 휴먼 에스컬레이션 메커니즘 구현

실천 포인트

1. Postmortem 작성 시 쿼리 가능한 'Failure Signature' 구조화 필드 추가 여부 검토

2. Runbook에 서비스 의존성 및 최종 검증일을 포함한 YAML 메타데이터 도입

3. AI Agent의 추론 과정(Reasoning Trace)을 인시던트 사후 분석(Retrospective)의 1급 아티팩트로 관리

4. 확신도가 낮은 추천 사항에 대해 단순 에스컬레이션이 아닌 추론 근거를 함께 제공하는 알림 체계 구축

태그