Space-Time Tokenizer 기반의 Native Video Streaming 아키텍처 구현

Context

기존 AI 모델은 저주기 프레임 샘플링 방식에 의존하여 비디오를 정지 이미지의 집합으로 처리함. 이로 인해 고속 동작 인식 불가 및 프레임 간 상태 추적 실패라는 시간적 추론 한계가 발생함.

Technical Solution

• Frame-by-Frame 샘플링을 대체하는 Native Video Streaming 구조 설계
• 16x16 픽셀 공간 정보와 4개 연속 프레임의 시간 정보를 결합한 Space-Time Tokenizer 도입
• 공간과 시간을 동시에 포괄하는 3D Patch Embedding을 통해 모션 정보를 토큰 레벨에서 직접 인코딩
• 3D Self-Attention 메커니즘을 적용한 Video Transformer로 시공간적 상관관계 분석
• Ring Attention 등 분산 전략을 통해 3D Attention의 연산 병목 지점을 최적화
• 단일 호출로 비디오 분석이 가능한 Multimodal Decoder 구조를 통한 파이프라인 단순화