DevOps/MLOps 에이전트가 프로덕션 인프라를 직접 조작하며 35% MTTR 감소를 달성했지만, 자동화는 항상 롤백 설계와 정책 검증을 동반해야 한다

Context

기존 DevOps/MLOps 인시던트 대응은 엔지니어가 매번 수동으로 로그와 메트릭을 상관관계 없이 분석해야 했다.警报이 컨텍스트 없이 발생하고 엔지니어가 정보 없이 대응해야 하는 문제가 있었다.

Technical Solution

• 인시던트 경보 → 로그 상관관계 분석 → 변경사항 탐지 → 가설 생성 → 권장 조치 흐름 자동화
• Prometheus, Datadog 메트릭과 ELK, OpenSearch 로그를 통합하여 에이전트가 실시간 상관관계 분석 수행
• ArgoCD, Spinnaker 배포 시스템을 통해 에이전트가 위험도 점수 산출 및 배포 승인/연기 권장
• Evidently, WhyLabs를 활용하여 데이터 드리프트 및 예측 드리프트 모니터링 후 재훈련 제안
• kubectl 및 인프라 API 호출 시 Safe Wrapper 패턴 적용하여 blast radius 제한 및 롤백 준비 상태 검증

Impact

멀티 리전 SaaS 플랫폼에서 SRE Assist Agent 도입 시 MTTR 35% 감소, 야간 잘못된エスカ레이션 감소

Key Takeaway

에이전트가 배포를 수행할 수 있다면 멈출 수도 있어야 하며, 완전한 자율성은 대부분의 시스템에서 달성해서는 안 된다