Motion Blur와 Audio Pitch 분석을 통한 비디오 재생 속도 추정 모델 구현

Context

기존 Computer Vision 시스템은 프레임 간의 시맨틱 정보에 의존하여 재생 속도를 메타데이터에 종속적으로 처리함. 이로 인해 메타데이터가 누락되거나 조작된 In-the-wild 비디오에서 실제 시간의 흐름을 식별하지 못하는 한계 발생.

Technical Solution

• 픽셀 수준의 Motion Blur 특성을 시간의 지문으로 정의하여 셔터 스피드와 객체 이동 속도 간의 상관관계 분석
• 프레임 내 Blur의 방향, 강도, 캐릭터를 통해 실제 Motion을 재구성하는 시각적 신호 추출 로직 설계
• 재생 속도 변화에 따른 Audio Pitch의 주파수 변이(Shift)를 이용한 Cross-modal Supervision 메커니즘 도입
• 시각적 Blur 정보와 오디오 주파수 정보를 결합하여 메타데이터 없이 픽셀과 신호만으로 재생 속도를 판별하는 아키텍처 구축
• 학습된 시간 흐름 데이터를 기반으로 누락된 프레임을 추론하는 Temporal Super-resolution 시스템 적용