피드로 돌아가기
OpenSRE: Build Your Own AI Incident-Investigation Agent
Dev.toDev.to
DevOps

LangGraph 기반 분산 데이터 상관관계 분석을 통한 AI Incident-Investigation 자동화

OpenSRE: Build Your Own AI Incident-Investigation Agent

ArshTechPro2026년 5월 18일3intermediate

Context

로그, 메트릭, 설정 파일이 Datadog, Grafana, Git 등 여러 도구에 파편화되어 발생한 가시성 부재 문제. 수동적인 타임스탬프 정렬과 로그 분석으로 인해 Root Cause Analysis(RCA)에 과도한 시간 소요 및 임시 패치 위주의 대응 반복.

Technical Solution

  • LangGraph 프레임워크를 활용하여 정형화된 Investigation Workflow 설계
  • Alert 수신 후 로그, 메트릭, 종속성 정보를 통합하는 Context Assembly 단계 구현
  • 발생 가능한 Failure Modes를 정의하고 여러 가설을 동시에 검증하는 Parallel Hypothesis Testing 구조 채택
  • 단순 LLM 추론이 아닌 수집된 증거 기반의 Evidence-backed Conclusions 도출 방식 적용
  • 전체 조사 과정을 추적 가능한 Fully Auditable Workflow로 설계하여 블랙박스 추론 문제 해결
  • Slack 등 협업 툴과 연동하여 분석 결과 및 권장 조치 사항을 즉시 전달하는 파이프라인 구축

- Read-only 권한의 자격 증명을 사용하여 AI Agent의 프로덕션 환경 접근 제어 - 자동 복구(Remediation) 적용 전 반드시 사람이 분석 보고서를 검토하는 Human-in-the-loop 프로세스 구축 - 네트워크 노출 범위를 최소화하고 모든 Investigation 이력을 로그로 기록하여 감사 추적성 확보 - Airflow, Kafka, Spark 등 데이터 플랫폼 스택과의 통합 가능성 우선 검토

원문 읽기