Agent Retry Loop 감지를 통한 Observability 공백 해결 및 장애 대응 시간 단축

Context

LLM Agent가 Tool 호출 결과로 null을 수신할 때 동일 요청을 반복하는 Retry Loop 발생. 일반적인 로그 시스템으로는 단순 반복 호출과 시스템 장애를 구분하기 어려워 사용자 불만 접수 후에야 문제를 인지하는 가시성 한계 존재.

Technical Solution

• Span 기반 추적을 통한 동일 Tool의 반복 호출 패턴 실시간 분석
• 최근 6개 Span 내 동일 Tool 4회 이상 등장 시 retry_loop Alert를 발생시키는 탐지 로직 구현
• 전체 Span 중 에러 비율이 20%를 초과할 때 failure_rate Alert를 트리거하는 임계치 설정
• SDK Patch 방식을 통한 기존 비즈니스 로직 변경 없는 모니터링 레이어 주입
• Local-first 기반의 Trace Waterfall 뷰를 제공하여 Tool 호출 순서와 Latency의 인과관계 분석 가능
• 단순 로그 출력이 아닌 상태 기반 Alerting 시스템을 통해 장애 인지 시점을 Span #4 단계로 앞당김