Hugging Face Transformers가 CTC 구조의 Stride 기법을 도입해 Wav2Vec2 모델이 임의 길이의 오디오 파일 처리 가능

Context

Wav2Vec2는 트랜스포머 기반 음성 인식 모델로 일반적으로 유한한 시퀀스 길이만 처리 가능하다. 트랜스포머의 어텐션 복잡도가 O(n²)이므로 1시간 길이의 오디오 파일을 처리하면 GPU 메모리 부족으로 프로그램이 충돌한다.

Technical Solution

• 기존 단순 청킹(Simple Chunking)의 한계 극복: 청킹 경계 부분의 모델 컨텍스트 부족으로 인한 낮은 품질을 개선하기 위해 Stride 기법 도입
• CTC 구조 활용 한 Stride 기법 구현: 각 오디오 프레임이 단일 문자 예측(logit)에 매핑되는 CTC 특성을 이용해 중복되는 청크에서 추론 수행
• Stride 경계부 로짓 제거: 중복 구간의 양쪽 끝부분 로짓을 제거하고 중앙부의 로짓만 연결해 전체 오디오 추론 결과 재구성
• pipeline 인터페이스에 chunk_length_s 및 stride_length_s 파라미터 추가: 사용자가 청크 길이(예: 10초)와 스트라이드 길이(예: 4초, 2초)를 직접 설정 가능
• LM 증강 모델 호환성 보장: 언어 모델이 로짓에 직접 작동하므로 LM 부스트된 Wav2Vec2 모델도 동일한 Stride 기법 적용 가능
• 라이브 추론 구현: CTC 모델의 단일 패스 특성을 활용해 실시간 스트리밍 오디오에 1초 스트라이드로 10초 청크 처리

Key Takeaway

CTC 아키텍처는 프레임 레벨 예측의 독립성으로 인해 중복 구간 로짓 병렬 처리가 가능하며, 이를 활용하면 메모리 제약 없이 임의 길이 오디오와 라이브 추론을 안정적으로 처리할 수 있다.