AssetOpsBench가 6개 평가 차원과 53개 구조화된 실패 모드를 통해 산업용 AI 에이전트 벤치마크를 구축해 GPT-4.1도 배포 기준(85점)에 미달

Context

기존 AI 벤치마크는 코딩이나 웹 네비게이션 같은 고립된 태스크에만 집중해 실제 산업 자산 관리(Asset Lifecycle Management)의 복잡성을 반영하지 못했다. 산업 환경에서는 다중 에이전트 조율, 센서 데이터 통합, 안전 임계 작업 등 단일 에이전트 모델로는 처리할 수 없는 다층적 실패 모드가 발생한다.

Technical Solution

• 벤치마크 데이터셋 구성: 2.3M 센서 텔레메트리 포인트, 4개 에이전트 대상 140+ 큐레이션 시나리오, 4.2K 작업 지시문, 53개 구조화된 실패 모드로 구성
• 6차원 평가 프레임워크 도입: Task Completion, Retrieval Accuracy, Result Verification, Sequence Correctness, Clarity and Justification, Hallucination rate 기준으로 각 에이전트 실행 추적
• TrajFM 파이프라인 구현: LLM 기반 진단 프롬프트 → 임베딩 클러스터링 → 실패 패턴 시각화의 3단계로 다중 에이전트 실행 궤적에서 반복적 실패 패턴 추출
• 동적 실패 분류 체계: 사전 정의된 실패 카테고리(검증 오류, 단계 반복, 역할 위반)에 추가로 LLM이 발견한 신규 패턴을 임베딩/클러스터링해 분류체계 자동 진화
• 산업 기밀 보호 메커니즘: 원본 실행 추적 대신 6개 평가 차원 점수와 클러스터된 실패 모드 요약만 개발자에게 노출

Impact

• GPT-4.1 최고 성과: Planning Score 68.2점, Execution Score 72.4점 (배포 기준 85점 미달)
• Mistral-Large: Planning 64.7점, Execution 69.1점
• LLaMA-3-70B: Planning 52.3점, Execution 58.9점 (다중 에이전트 조율 붕괴)
• 881개 에이전트 실행 추적 중 실패 분포: 비효율적 오류 복구 31.2%, 과장된 완료 23.8%, 포매팅 문제 21.4%, 미처리 도구 오류 10.3%, 무시된 피드백 8.0%, 기타 5.3%
• 185개 추적에서 1개 신규 실패 패턴, 164개에서 다중 신규 패턴 발견
• 단일 에이전트 정확도 68% vs 다중 에이전트 정확도 47% (다중 에이전트 복잡성)
• 고성과 에이전트의 도구 정확도 94% vs 저성과 에이전트 61%
• 센서 누락, 충돌하는 로그, 모호한 지시로 인한 성공률 34% 하락

Key Takeaway

산업 AI 에이전트 평가는 이진 성공/실패 신호보다 다중 단계 조율의 실패 근인(where, how, why)을 명확히 하는 것이 더 가치있다. 도메인 특화 벤치마크 설계 시 사전 정의된 실패 분류와 동시에 새로운 패턴을 자동 발견/진화시키는 하이브리드 방식이 현실의 미예측 복잡성에 대응한다.