Sora·Veo를 제친 Seedance 2.0의 고효율 오디오-비디오 통합 생성 전략

Context

기존 비디오 생성 모델의 부자연스러운 립싱크 문제. 개별적인 오디오와 비디오 생성으로 인한 싱크 불일치 발생. 정밀한 감독 수준의 제어 기능 부족.

Technical Solution

• 오디오와 비디오를 동시에 생성하는 Joint Audio-Video Generation 아키텍처 도입으로 자연스러운 립싱크 구현
• 최대 12개의 파일을 동시에 입력받는 Multi-reference Input 구조를 통한 디렉터 수준의 정밀 제어 가능
• CapCut 플랫폼 통합을 통한 대규모 배포 및 사용자 피드백 루프 최적화 전략
• 비용 효율적인 모델 경량화 및 추론 최적화를 통한 생성 단가 절감 설계

Impact

• 15초 클립당 비용 약 $0.14 수준으로 경쟁사 대비 5~10배 저렴한 비용 구조
• 최대 2K 해상도 지원

Key Takeaway

멀티모달 데이터의 개별 생성이 아닌 통합 생성(Joint Generation) 방식이 데이터 간 정렬(Alignment) 문제를 해결하는 핵심 설계 원칙임.