Hugging Face Transformers가 pyctcdecode 라이브러리를 통합하여 Wav2Vec2 음성인식 모델에 n-gram 언어모델을 결합한 디코딩 방식 제공으로 WER 30% 상대 성능 향상

Context

Wav2Vec2는 CTC 알고리즘을 사용해 외부 언어모델 없이도 음성을 텍스트로 변환할 수 있지만, 공식 논문 Appendix C에서 언어모델 결합 시 특히 10분 분량의 학습 데이터만 사용한 경우 성능이 유의미하게 향상됨을 보여주었다. Hugging Face Transformers 라이브러리는 이전까지 파인튜닝된 Wav2Vec2 모델과 언어모델을 함께 사용하는 간단한 인터페이스를 제공하지 않았다.

Technical Solution

• Kensho Technologies의 pyctcdecode 라이브러리를 Transformers에 통합하여 언어모델 디코딩 기능 추가
• KenLM을 사용해 학습 데이터로부터 n-gram 언어모델(5-gram) 구축
• Wav2Vec2Processor의 batch_decode() 메서드에서 디코더 객체를 인자로 받아 LM-부스팅된 디코딩 실행
• Hugging Face Hub의 모델 카드에 5-gram 언어모델 파일을 Git LFS를 통해 업로드(1.85GB)
• 파인튜닝된 Wav2Vec2 체크포인트 위에 학습된 언어모델을 스택하여 음성 시퀀스 디코딩 수행

Impact

• Common Voice 7 테스트셋에서 WER(단어 오류율) 18.85% 달성으로 상대 성능 약 30% 향상

Key Takeaway

사전학습 모델의 컨텍스트 인식 능력만으로는 부족한 음성인식 작업에서 사후 처리 단계에 경량 n-gram 언어모델을 추가하면 상당한 성능 개선을 달성할 수 있으며, 라이브러리 수준의 표준화된 인터페이스 제공이 이러한 기법의 실무 적용을 촉진한다.