Artificial Analysis가 Big Bench Audio 데이터셋을 구축해 음성 추론 모델의 성능 평가 기준을 마련했으며, GPT-4o의 텍스트 대비 음성 입출력에서 26%포인트 정확도 저하 발견

Context

Native Speech to Speech 모델이 음성 에이전트의 음성 워크플로우를 단순화하면서 이러한 단순화가 모델 성능에 미치는 영향을 측정할 평가 기준이 부재했다. 음성 입출력 모달리티가 추론 능력에 미치는 영향을 체계적으로 검증할 필요가 있었다.

Technical Solution

• Big Bench Audio 데이터셋 구축: Big Bench Hard의 1,000개 문제를 음성 도메인으로 변환하고 4개 카테고리(Formal Fallacies, Navigate, Object Counting, Web of Lies)로 균형 배치
• 음성 파일 생성: 상위 Text to Speech 모델의 23개 합성 음성으로 오디오 파일 생성 및 Levenshtein distance로 음성 인식 검증
• 4가지 모달리티 조합 평가: Speech to Speech, Speech to Text, Text to Speech, Text to Text 각 구성에서 18개 실험 수행
• 자동화 평가 시스템 개발: Whisper로 음성을 텍스트로 변환한 후 Claude 3.5 Sonnet(LLM Evaluator)을 통해 정답 일치도 판정
• 파이프라인 성능 비교: Whisper(음성 인식) + GPT-4o(추론) + TTS-1(음성 생성) 조합과 Native Speech to Speech 모델의 성능 직접 비교

Impact

• GPT-4o(Aug '24)의 Text to Text 정확도 92%에서 Speech to Speech 정확도 66%로 26%포인트 하락
• Speech to Text에서 74% 정확도로 음성 입력과 음성 출력 모두가 성능 저하에 기여
• 기존 파이프라인(Whisper + GPT-4o + TTS-1)이 텍스트 기반 처리 대비 최소한의 성능 저하로 음성 능력 제공

Key Takeaway

Native Speech to Speech 모델의 추론 성능 평가를 위해서는 체계적인 벤치마크 데이터셋과 다중 모달리티 분석이 필수이며, 현재로서는 전통적 파이프라인 방식이 추론 정확도가 중요한 애플리케이션에서 더 나은 성능을 제공한다.