Hugging Face가 LMSys의 Chatbot Arena 방식을 채용해 TTS 모델을 커뮤니티 투표로 비교·평가하는 leaderboard 구축

Context

텍스트-음성 합성(TTS) 모델의 품질을 객관적으로 측정하는 방법이 부재했다. WER(단어 오류율) 같은 객관적 지표는 신뢰성이 낮으며, MOS(평균 의견 점수)는 소수의 청취자를 대상으로 한 소규모 실험에 불과해 유사한 품질의 모델 간 비교에 유용하지 않다.

Technical Solution

• Chatbot Arena의 Elo 레이팅 시스템을 TTS 모델 평가에 적용: 사용자가 두 모델이 생성한 음성을 비교하고 투표
• 투표 완료 후에만 모델명 공개: 인간 편향과 악용 위험 차단
• 공개 및 비공개 모델 혼합 선정: ElevenLabs(비공개), MetaVoice, OpenVoice, Pheme, WhisperSpeech, XTTS(공개소스) 6개 모델 초기 탑재
• 실시간 leaderboard 자동 업데이트: 투표 누적에 따라 모델 순위 점진적 반영
• 커뮤니티 중심 평가 체계 구축: 누구나 텍스트 입력 후 두 모델의 음성 합성 결과 비교 가능

Key Takeaway

주관적 평가가 필수적인 AI 시스템에서는 대규모 커뮤니티 투표 기반의 상대적 평가(Elo 레이팅)가 신뢰성 높은 측정 방식이 될 수 있으며, 모델명 비공개 후 공개라는 구조적 장치로 편향을 효과적으로 제어할 수 있다.