HTTP 상태 코드 기반 추론을 배제한 증거 중심 Root Cause 분석 시스템 도입

Context

AI 코딩 어시스턴트가 HTTP 상태 코드(500, 404 등)만으로 장애 원인을 추측하여 정상적인 핸들러를 잘못 수정하는 Hallucination 발생. 동일한 증상(빈 배열 반환 등)에 대해 DB 미생성, Feature Flag 오프 등 최소 6가지 이상의 상이한 원인이 존재함에도 Ground Truth 부재로 인한 무분별한 코드 수정 반복.

Technical Solution

• OpenAPI 및 소스 코드 파싱을 통한 Route Graph 생성으로 애플리케이션 구조 자동 분석
• HTTP/SSE/WS 엔드포인트를 직접 타격하여 실제 요청, 응답 샘플, 타이밍 데이터를 수집하는 증거 기반 Probe 메커니즘 구축
• 수집된 데이터를 25가지 Root Cause 카테고리에 매핑하고 신뢰도(High, Medium, None)를 산출하는 결정론적 규칙 기반 분류기 설계
• 신경망 기반 Black Box 추론을 배제하고 투명한 Rule 및 엔드포인트별 통계 메모리를 통한 검증 가능한 결과 도출
• MCP(Model Context Protocol) 인터페이스를 통해 AI 어시스턴트에 8가지 도구를 제공하여 추측이 아닌 증거 기반의 추론 유도