Adyen과 Hugging Face가 450개 이상의 실제 데이터 분석 작업으로 구성된 DABstep 벤치마크를 개발해 AI 에이전트의 다단계 추론 능력을 평가

Context

데이터 분석은 기술 스킬, 도메인 지식, 창의성을 모두 요구하는 작업이나, 현존하는 AI 벤치마크들은 합성 문제나 단편적 질문에 초점을 맞춰 실제 워크플로우 평가에 부족했다. DS-1000은 단일 샷 작업만 평가하고 실제 데이터셋이 없으며, DS Bench는 Excel 기반으로 제한적이어서 실무의 반복적 코드 워크플로우를 다루지 못했다.

Technical Solution

• 450개 이상의 실제 작업을 Adyen의 실제 워크로드에서 추출해 벤치마크 구성: 합성 문제가 아닌 분석가들이 매일 마주하는 현실 과제 포함
• 구조화된 데이터와 비구조화된 데이터를 균형있게 통합: 기술 스킬(구조화)과 도메인 지식(비구조화) 모두 평가
• 이진 평가 방식(정답/오답) 도입: GPT-4 기반 평가의 편향을 제거하고 객관적 자동 평가 가능
• 다단계 복잡성 테스트 설계: 단순 쿼리부터 반복적 워크플로우까지 다양한 분석 작업 포함
• 간단한 실행 환경 제공: 코드 실행 환경에만 접근하면 리더보드에 직접 제출 및 자동 평가 가능 (SWE-bench, MLE-bench처럼 복잡한 설정 불필요)

Impact

현재 가장 우수한 추론 기반 AI 에이전트가 16% 정확도만 달성하여 복잡한 데이터 분석 작업 해결 능력에 상당한 개선 여지가 있음을 입증.

Key Takeaway

실제 산업 워크로드에서 추출한 대규모 벤치마크는 단순한 합성 문제와 달리 AI 모델의 실제 한계를 드러내며, 객관적 이진 평가 기준과 간단한 실행 환경이 결합되면 커뮤니티 참여와 빠른 진전을 유도할 수 있다.