Hugging Face Transformers를 활용해 Whisper 모델을 다국어 음성인식 데이터셋에 파인튜닝하는 단계별 가이드 제공

Context

Whisper는 OpenAI가 680,000시간의 레이블 음성-전사 데이터로 사전학습한 96개 이상의 언어를 지원하는 인코더-디코더 모델입니다. 기존 Wav2Vec 2.0은 레이블 없는 60,000시간 데이터로만 사전학습되어 음성-텍스트 매핑을 습득하지 못했기 때문에 더 많은 파인튜닝이 필요했습니다.

Technical Solution

• Whisper 아키텍처: 로그-멜 스펙트로그램을 Transformer 인코더로 처리한 후, 디코더가 인코더 숨겨진 상태와 이전 토큰을 조건으로 하여 자동회귀적으로 텍스트 토큰 생성
• 크로스엔트로피 손실함수를 사용한 종단간 학습: 동일한 훈련 데이터와 손실함수로 인코더-디코더 전체 시스템을 학습 (Deep Fusion 방식)
• Common Voice 데이터셋을 활용한 데이터 준비: 특성 추출기(Feature Extractor)와 토크나이저(Tokenizer)로 전처리
• Hugging Face Hub에서 제공되는 5가지 구성의 사전학습 체크포인트 활용: 영어 전용 또는 다국어 모델 선택 가능
• 🤗 Transformers 파이프라인과 Gradio를 활용한 대화형 데모 구축: 마이크 입력 음성을 실시간으로 전사

Impact

Whisper 사전학습 체크포인트는 LibriSpeech 테스트-클린 부분집합에서 약 3% 단어오류율(WER)을 달성했고, TED-LIUM에서 4.7% WER로 기존 최고 성능 갱신했습니다.

Key Takeaway

Whisper의 680,000시간 규모의 레이블 음성 데이터 사전학습은 저자원 언어를 포함한 96개 언어에 대해 추가 파인튜닝만으로 경쟁력 있는 음성인식 성능을 달성할 수 있도록 하며, Deep Fusion 아키텍처를 통한 종단간 학습이 언어 모델의 내부 통합으로 우수한 성능을 가능하게 합니다.