물리적 일관성까지 복원하는 AI 비디오 편집 모델 VOID 공개

Context

비디오 내 특정 객체 제거 시 주변 환경의 자연스러운 복원이 어려움. 기존 Inpainting 기술은 객체 삭제 후 남은 영역의 물리적 상호작용을 처리하는 데 한계 존재.

Technical Solution

• Video Object and Interaction Deletion(VOID) 프레임워크 설계
• 객체 제거와 동시에 주변 객체의 행동 양식을 예측하는 VLM(Vision-Language Model) 기반 구조
• 물리적으로 타당한 경로와 움직임을 생성하는 Physically-plausible Inpainting 기술 적용
• 삭제된 객체가 환경에 미친 영향(파편, 연기, 물보라 등)을 식별하여 원형으로 복원하는 로직 구현
• Hugging Face를 통한 모델 공개로 범용적인 설치 및 사용 환경 제공

Impact

• 25인 대상 사용자 설문 조사 결과 64.8%의 선호도 기록
• 경쟁 도구인 Runway(18.4%) 대비 압도적인 성능 우위 입증

Key Takeaway

단순한 픽셀 채우기를 넘어 객체 간의 상호작용과 물리 법칙을 모델링함으로써 고차원적인 영상 합성 가능성을 제시함.