Decision-level 모니터링을 통한 AI Agent Incident Response 체계 구축

Context

CPU, Memory 등 기존 Infrastructure 중심 모니터링으로는 AI Agent의 Hallucination이나 논리적 오류를 탐지하는 데 한계 노출. 서비스 상태가 'Healthy'임에도 불구하고 잘못된 의사결정을 내리는 Agent의 특성상 Decision-level의 정밀한 관측 체계 필요.

Technical Solution

• Detection, Triage, Response로 구성된 3계층 Incident Response Pipeline 설계
• Token burn rate, Decision confidence, Tool call failure 등 Agent 의사결정 지표 기반의 Event Stream 구축
• Confidence 점수 0.6 미만 시 Critical 등급으로 분류하는 정량적 임계치 기반의 탐지 로직 적용
• 신뢰도 하락 시 Agent 자율성을 제한하고 Human-in-the-loop 승인 절차를 강제하는 Deterministic Response 구현
• Triage 계층 내 도메인 지식을 인코딩하여 단순 지표 이상과 치명적 비즈니스 오류를 구분하는 Routing 시스템 구축
• Runbook의 Code-based 관리 및 Synthetic Incident 주입을 통한 시뮬레이션 테스트 체계 도입