피드로 돌아가기
Dev.toAI/ML
원문 읽기
VRAM 한계 극복 및 15초 이상 고품질 비디오 생성을 위한 SVI 아키텍처 채택
Long video generation blog: Six Approaches, One Decision
AI 요약
Context
Wan2.2 모델의 Full Attention 구조로 인한 O(n²) VRAM 비용 증가 및 10초 생성 시 40GB 메모리 점유 문제 발생. Bidirectional Attention 특성상 모든 프레임 생성이 완료될 때까지 출력이 불가능한 Causal Consistency 제약 존재.
Technical Solution
- VRAM 사용량의 선형적 제어를 위해 Stateful Rolling Generation 방식의 SVI(Stable Video Infinity) 도입
- 비디오를 겹치는 상태를 가진 짧은 클립 단위로 분해하여 메모리 점유율을 일정하게 유지하는 구조 설계
- 기존 모델 가중치 활용도를 높이기 위해 Full Retraining 대신 LoRA 기반의 경량 학습 전략 채택
- TTT의 과도한 학습 비용 및 LoL의 정적 장면 한계를 배제하고 범용적 모션 대응이 가능한 Type C 접근법 선택
- 클립 경계의 불연속성과 장기적 Drift 가능성을 감수하되 무제한 길이에 대응하는 Trade-off 결정
실천 포인트
1. O(n²) 복잡도를 가진 Attention 모델 확장 시 VRAM Wall 지점(Wan
2.2 기준 10s/40GB)을 먼저 파악할 것
2. 실시간 스트리밍 출력이 필요할 경우 Bidirectional에서 Causal Attention으로의 전환 검토
3. 전체 재학습 비용이 과다할 경우 LoRA를 통한 상태 유지형 생성(Stateful Rolling) 방식의 효율성 검증
4. 단순 길이 연장보다 Subject 안정성과 Color/Position Shift 등 Temporal Drift 제어 가능 여부를 우선순위로 둘 것