YOLOv12의 0.74 mAP 달성과 v26의 NMS-free 구조를 통한 추론 최적화

Context

기존 Two-stage Detector의 높은 연산 비용과 느린 추론 속도를 해결하기 위해 Single-stage Regression 기반의 YOLO 아키텍처가 도입됨. 특히 Edge Device 배포 시 NMS(Non-Maximum Suppression) 단계에서 발생하는 연산 병목 현상이 실시간성 확보의 주요 제약 사항으로 작용함.

Technical Solution

• CSP-Darknet53 Backbone 기반의 YOLOv5를 통해 생산 환경에 적합한 추론 지연 시간의 일관성 확보
• Area Attention 및 R-ELAN 구조를 도입한 YOLOv12 설계를 통해 혼잡한 교통 상황 내 중첩 객체 식별 정밀도 향상
• NMS-free End-to-End Detector 구조를 채택한 YOLOv26 설계를 통해 후처리 연산 병목 제거 및 추론 파이프라인 단순화
• Kaggle 환경 내 Ultralytics 패키지의 Base directory 자동 인식 특성을 고려한 data.yaml 경로 설정 최적화
• 단일 프레임 검출의 한계를 극복하기 위해 ByteTrack 기반의 MOT(Multi-Object Tracking) 계층 추가 설계 제안

Impact

• YOLOv12: Fine-tuning 후 0.7402 mAP 달성 및 7.16 ms의 Latency 기록
• YOLOv26: NMS 제거를 통해 Fine-tuning 후 Latency를 8.20 ms에서 5.07 ms로 단축 및 0.7104 mAP 확보
• YOLOv11: Fine-tuned Inference Speed 4.47 ms로 최단 시간 달성
• YOLOv5: 4.8~4.9 ms의 매우 일관된 Latency 유지 및 0.6966 mAP 확보

Key Takeaway

정확도 우선순위 시 Attention 기반의 복잡한 아키텍처(v12)가 유리하며, Edge Device의 하드웨어 제약 상황에서는 후처리 단계(NMS)를 네트워크 내부로 통합한 End-to-End 구조(v26)가 실질적인 Latency 이득을 제공함.