7,212개 에이전트 트레이스 분석 결과, LLM 호출 없이도 17개 장애 모드를 60.1% 정확도로 탐지 가능함

Context

AI 에이전트는 전통 소프트웨어와 다르게 크래시 대신 드리프트, 루프, 할루시네이션, 정숙한 잘못된 결과 생성이 발생함. 기존 모니터링 대시보드는 이러한 실패를 감지하지 못함. 13개 외부 데이터 소스에서 수집한 7,212개 레이블된 트레이스를 기반으로 17개 고유한 실패 모드를 카탈로그화함.

Technical Solution

• Hash 기반 비교: 정확한 상태 반복 검출, 하위 시퀀스 매칭으로 순환 패턴(A→B→C→A) 감지함
• Delta 분석: 연속적인 상태 스냅샷 간 타입 변경(null 전환, 대량 소멸, 속도 이상) 탐지함
• 행동 임베딩 비교: 역할 정의와 에이전트 출력 비교, 어휘 일관성, 톤 일관성 검증함
• 메시지 흐름 분석: ACK 패턴 추적, 라운드트립 횟수 카운트, 위임 체인 추적으로 순환 감지함
• Grounding 점수 측정: 임베딩 유사도로 에이전트 클레임과 소스 문서 정렬도 측정함
• 계층적 감지 아키텍처: 무료 해시 비교와 상태 델타 분석 후 모호한 경우에만 LLM 판정기로 에스컬레이션함

Impact

TRAIL 벤치마크에서 Pisama의 20개 핵심 휴리스틱 디텍터가 $0 비용으로 60.1% 공동 정확도 달성함. 최고 프론티어 모델 대비 에이전트 실패 발견에서 5.5배 우수한 성능임. 프로덕션 평균 추적 비용: $0.05 미만.

Key Takeaway

AI 에이전트 장애는 구조적 시그니처를 가지므로 LLM 호출 없이도 휴리스틱 기반으로 충분히 탐지 가능함.