Meta AI가 Wav2Vec2-BERT를 저자원 언어 ASR 미세 조정으로 Whisper 대비 10~30배 빠르고 2.5배 적은 리소스 사용 달성

Context

Whisper는 영어 ASR에서 최고 성능을 보이지만 몽골어, 말라얄람어 같은 저자원 언어에서 100% 이상의 단어 오류율(WER)을 기록한다. Whisper의 자동회귀 아키텍처는 학습 데이터에 드문 언어의 추론 속도를 저하시키며, 제한된 어휘로 인해 겹치지 않는 알파벳을 가진 언어 미세 조정이 불가능하다. 저자원 환경에서 학습 데이터와 추론 리소스가 모두 제약될 때 더 효율적인 모델이 필요하다.

Technical Solution

• Wav2Vec2-BERT 모델 도입: 143개 언어 4.5M시간의 레이블 없는 오디오로 사전 학습된 580M 파라미터 모델 사용
• CTC(Connectionist Temporal Classification) 알고리즘으로 미세 조정: 시퀀스-투-시퀀스 문제 학습용 신경망 훈련 기법 적용
• 특성 추출기 및 토크나이저 구성: 음성 신호를 모델 입력 형식으로 처리하는 파이프라인 구축
• CTC 토큰당 신호 구간 최적화: 각 CTC 토큰이 10~35ms의 음향 정보를 관찰하도록 조정하여 손실 곡선 안정화
• 컨볼루션 어댑터 레이어 추가: 인코더 은닉 상태를 시간 축으로 서브샘플링하여 신호 청크 샘플링 지속 시간 조정
• 워밍업 비율 5~15% 설정 및 에포크 수 확대: 학습률이 너무 빨리 하락하는 것을 방지
• AdamW의 β₂ 파라미터를 0.95~0.98로 조정: 손실 곡선 평탄화를 통해 하이퍼파라미터 최적화

Impact

• Whisper-large-v3 대비 10~30배 빠른 추론 속도 달성 (16GB V100, 배치 크기 1~8, 몽골어 CV16 테스트 세트 기준)
• Whisper-large-v3와 유사한 WER 성능 달성 (몽골어 ASR 미세 조정 후)
• 2.5배 적은 리소스 사용으로 동등한 성능 달성
• 최소 10분의 레이블된 음성 데이터로 미세 조정 가능 (XLS-R 검증 기반)

Key Takeaway

저자원 다중 언어 ASR 시나리오에서는 대규모 자동회귀 모델보다 단일 패스 비자동회귀 모델(Wav2Vec2-BERT)을 CTC로 미세 조정하는 것이 추론 속도와 리소스 효율성에서 더 유리하다. CTC 토큰당 신호 지속 시간, 워밍업 스케줄, AdamW의 모멘텀 파라미터 조정이 훈련 안정성을 결정하는 핵심 요소다.