TF-IDF 기반 에이전트 검증으로 LLM 대비 리콜 8배 및 지연시간 3,300배 개선

Context

기존 Agent evaluation pipeline은 LLM Judge를 통한 완료 여부 검증에 의존함. 이는 높은 추론 비용과 지연시간을 유발하며, 특히 에이전트가 생성하는 확신에 찬 거짓 응답(False Success)을 탐지하는 리콜 성능이 낮다는 한계가 존재함.

Technical Solution

• 정형화된 실패 패턴을 포착하는 통계적 분류기인 TF-IDF 알고리즘을 모니터링 레이어로 도입
• 도메인별 실제 완료 사례와 거짓 완료 사례의 데이터셋 라벨링을 통한 전용 분류기 학습
• LLM의 추론 과정 없이 토큰 패턴의 통계적 특성만을 분석하여 성공 여부를 빠르게 판별하는 구조 설계
• 전체 평가 스위트를 대체하는 대신, 완료 신호의 1차 필터링(Triage layer)으로 활용하는 계층적 검증 아키텍처 채택
• Cloudflare Durable Object Facets를 통해 생성된 에이전트 코드를 격리된 SQLite 저장소와 함께 배포하여 상태 유지와 격리를 동시에 달성