Silent Failure 방지를 통한 AI 시스템 운영 안정성 및 비용 최적화 설계

Context

기존 AI 시스템 모니터링이 HTTP 상태 코드나 Exit Code 등 단순 인프라 메트릭에 의존하는 한계 존재. 이로 인해 LLM의 빈 응답이나 무한 루프와 같은 논리적 오류가 'Healthy' 상태로 오판되어 서비스 품질 저하 및 비용 급증을 초래함.

Technical Solution

• Output Content 검증 계층 도입을 통한 Exit Code 0 기반의 Silent Failure 차단
• 역사적 Median 대비 출력 길이 30% 미만 시 이상 징후로 판단하는 Anomaly Detection 로직 적용
• Hygiene Exception Registry 구축을 통해 임시로 비활성화한 Validation Hook에 소유자 및 만료일 명시
• Hook Bypass 발생 시 Telemetry 메트릭을 즉시 방출하여 일시적 설정 변경에 대한 가시성 확보
• Action Budget 체크 시점을 'Run 시작 시점'에서 'Per Action' 단위로 변경하여 LLM API 비용 누수 방지