AI 에이전트의 6가지 침묵형 실패 패턴을 식별하고 자동 검출하는 Agent Forensics 도구 제시

Context

AI 에이전트는 예외를 발생시키지 않으면서 잘못된 결과를 반환하는 침묵형 실패를 일으킨다. 예를 들어 도구가 에러를 반환했는데 에이전트가 이를 무시하고 존재하지 않는 데이터를 기반으로 다음 단계를 진행하거나, 사용자가 요청한 상품이 없을 때 다른 상품으로 대체하여 전달하는 경우다. 이런 실패들은 시스템 로그에 드러나지 않아 사후 분석이 불가능했다.

Technical Solution

• 도구 실행 결과 검증: 각 도구 호출 후 에러 응답 여부를 확인하고, 에이전트의 다음 추론 단계에서 해당 에러를 언급했는지 비교하여 무시된 에러 감지
• 중요 작업 승인 체크포인트: purchase, delete, send, transfer, pay 같은 키워드가 포함된 액션에 대해 사전 승인 여부를 확인하는 화이트리스트 기반 검증
• 원본 요청 대조: 사용자의 초기 요청과 최종 실행 결과를 문자열 매칭으로 비교하여 대체 상품 사용 여부 감지
• 시스템 프롬프트 추적: 각 단계마다 시스템 프롬프트를 기록하고 diff를 수행하여 세션 중 프롬프트 변경(Prompt Drift) 감지
• 연속 실패 카운팅: 같은 도구의 에러 발생 횟수를 누적하여 무한 재시도 패턴 감지
• RAG 유사도 임계값 설정: retrieval_result.similarity_score가 0.7 미만인 경우 플래그를 표시하여 낮은 관련성 문서 사용 감지

Key Takeaway

AI 에이전트의 안정성은 예외 처리가 아닌 의사결정 추적(decision trace) 분석에 달려 있다. 모든 도구 호출, 프롬프트 변경, 승인 상태를 기록하고 사후 검증하는 "AI 플라이트 레코더" 방식의 감사 시스템이 프로덕션 환경에서 필수다.