Hugging Face가 Object Detection Leaderboard를 통해 IoU, AP, AR 메트릭을 기준으로 모델 성능을 비교 평가하는 표준화된 벤치마킹 체계 구축

Context

객체 탐지 모델의 성능을 평가할 때 어떤 메트릭을 신뢰해야 하는지, 메트릭이 정확히 어떻게 계산되는지, 그리고 왜 동일 모델이 다양한 평가 보고서에서 상이한 결과를 보이는지에 대한 혼동이 존재했다. 개발자와 연구자들이 자신의 애플리케이션 요구사항에 맞는 최적의 오픈소스 모델을 선택하기 어려웠다.

Technical Solution

• Intersection over Union(IoU) 기반 평가: 예측 바운딩박스와 정답 바운딩박스의 겹치는 영역을 합쳐진 전체 영역으로 나눈 값(0~1 범위)으로 True Positive와 False Positive 분류
• Average Precision(AP) 메트릭 도입: Precision x Recall 곡선을 단일 숫자로 요약하는 메트릭을 기본 평가 지표로 정의
• AP 변형 메트릭 제공: AP@.5, AP@.75, AP-S(작은 객체), AP-M(중간 크기 객체), AP-L(큰 객체)로 세분화
• Average Recall(AR) 메트릭 제공: AR-1, AR-10, AR-100(이미지당 객체 개수별), AR-S, AR-M, AR-L(객체 크기별) 변형
• PyCOCOtools 독립 도구 활용: 커뮤니티 표준 벤치마킹 도구를 사용해 일관된 평가 결과 생성
• 사용 사례별 메트릭 가이드 제공: 감시, 얼굴 인식, 의료 영상, 자율주행차, 스포츠 분석 등 12개 실제 시나리오에 대응하는 권장 메트릭 매핑표 작성
• 멀티 도메인 데이터셋 수집 계획: 의료 이미지, 스포츠, 자율주행차 등 다양한 분야의 벤치마크 데이터셋 확보 진행 중

Impact

아티클에 정량적 성능 수치가 명시되지 않음

Key Takeaway

객체 탐지 모델 평가에서는 IoU 임계값과 객체 크기라는 두 가지 변수가 메트릭 결과를 크게 좌우하므로, 애플리케이션의 실제 정확도 요구사항(느슨한 감지 vs 정확한 감지)과 객체 특성(크기 분포)에 맞는 메트릭을 명시적으로 선택해야 한다.