HTDemucs 기반 오디오 분리 및 Async Polling 파이프라인 설계

Context

분산된 오디오 Stem Separation 도구와 모델로 인한 구현 복잡성 증대. CPU 기반 추론의 극심한 지연 시간으로 인한 실시간 처리의 한계 직면.

Technical Solution

• Waveform과 Spectrogram을 동시에 처리하는 Hybrid Transformer 구조의 HTDemucs 모델 채택
• GPU 인프라 가용 여부에 따른 Local CUDA 추론과 REST API 기반 Cloud Inference의 이분화 설계
• 작업 제출 후 결과 값을 확인하는 Async Polling 루프와 Exponential Backoff 전략 적용
• 오디오 압축 아티팩트 최소화를 위해 MP3 대신 WAV/FLAC 포맷 우선 처리
• yt-dlp를 통한 소스 수집부터 API 제출 및 다운로드까지 이어지는 End-to-End 파이프라인 구성

Impact

• CPU 추론 시 곡당 10~15분 소요되던 시간을 GPU 활용 시 90초 미만으로 단축