Synthetic F1 0.857 달성한 Multi-Agent 토큰 낭비 탐지 아키텍처 설계

Context

Multi-Agent 시스템 내에서 에이전트 간 중복 루프 및 불필요한 Re-query로 인한 토큰 비용 증가 문제 발생. 기존의 단순 시그널 합산 방식은 Trace 길이와의 높은 상관관계(r ≈ 0.86)로 인해 실제 실패 예측 성능(AUC ≈ 0.455)이 현저히 낮은 한계 노출.

Technical Solution

• Structure-then-Semantics Cascade 구조 도입을 통한 분석 정밀도 향상
• Global Trend 분석에서 Local Repeat 탐지로 관점을 전환하여 중복 작업 식별
• Semantic Layer의 모호성을 해결하기 위해 Input 동일성 여부를 검증하는 Structural Layer의 Decision Routing 설계
• LLM Sub-span을 Parent Node로 Fold 하여 모델 클래스 중복으로 인한 False Positive 제거
• Token 소모가 없는 Router Span을 분석 대상에서 제외하는 원칙 기반 필터링 적용
• Evaluation Split에 대한 단 1회 접근 및 Pre-registered GO/KILL 기준 설정을 통한 Overfitting 방지