3초 샘플로 구현하는 고정밀 Voice Cloning 아키텍처 분석

Context

기존 TTS 시스템의 기계적 음색과 방대한 학습 데이터 요구량을 극복하기 위한 zero-shot voice cloning 기술 분석. 개별 사용자의 고유한 음성 특성을 최소한의 데이터로 빠르게 복제하는 고효율 합성 구조 지향.

Technical Solution

• LibriLight 데이터셋 60,000시간을 학습한 기반 모델을 통한 범용 음성 특징 추출
• Discrete Codec 기반의 토큰화를 통해 음성 신호를 디지털 코드로 변환하여 처리 효율 증대
• Tacotron 2 기반의 12.5ms 프레임 단위 mel-spectrogram 생성으로 정밀한 시간축 제어
• 30개 dilated convolution 레이어와 512개 residual 채널을 갖춘 WaveNet 기반 Upsampling 적용
• Voice Embedding 추출을 통한 개별 사용자의 Pitch, Timbre, Pace를 수치화한 Voice Print 생성
• 입력된 3초의 샘플을 조건부 입력(Conditioning)으로 사용하여 타겟 음색을 즉각 반영하는 구조 설계