YouTube 동영상의 언어 장벽 해결을 위해 Whisper + GPT-4o + Demucs 조합으로 50개 이상 언어 더빙 자동화 시스템 구축

Context

YouTube의 수백만 개 콘텐츠가 언어 장벽으로 인해 접근 불가능한 상황이 존재했다.

Technical Solution

• 음성 추출: OpenAI Whisper를 사용한 원본 오디오 전사
• 번역 처리: GPT-4o를 통한 신경망 기반 기계 번역
• 음성 합성: Google Chirp3-HD(기본), ElevenLabs Flash(표준), ElevenLabs Dubbing API(프리미엄) 3단계 TTS 엔진 제공
• 음원 분리: Demucs(htdemucs 모델)로 보컬과 배경음악/환경음 분리 후 새 음성과 원본 배경음 혼합
• 백엔드 아키텍처: Python + Celery workers(Railway)로 비동기 작업 처리, Next.js + Tailwind CSS 프론트엔드(Vercel 배포)
• 데이터베이스: Supabase(PostgreSQL) 저장소, Stripe 결제 통합
• 비용 최적화: Demucs를 Apple Silicon(MPS)에서 로컬 실행하여 클라우드 GPU 비용 절감

Key Takeaway

다양한 외부 API를 조합하되 GPU 집약적 작업(음원 분리)은 로컬 하드웨어에서 처리하는 방식으로 아키텍처 선택 시 비용과 성능의 트레이드오프를 관리할 수 있다.