800개 BSS Eval 지표 기반 데이터 기반 Model Selection 자동화

Context

Stem Separation 모델 선정 시 단순 청음 테스트나 고비용의 MUSDB18 직접 벤치마크 수행에 따른 리소스 낭비 발생. 모델별 SDR 성능과 RTF 지연 시간 사이의 Trade-off를 정량적으로 판단할 근거 부족.

Technical Solution

• Hugging Face의 metrics_only Parquet 설정을 활용한 경량 벤치마크 데이터 로드 구조 설계
• Stem별 우선순위와 Latency Budget(RTF)을 입력값으로 받는 Model Picker 함수 구현
• SDR Median 기반의 최적 모델 선정과 RTF 제약 조건 필터링을 통한 최적 가중치 매핑
• CI 파이프라인 내 Vocal SDR Floor 검증 로직을 통한 모델 업그레이드 시 성능 퇴보 방지
• Tail-end 분석을 위한 sdr_median 오름차순 정렬 기반의 Worst-case 트랙 식별 프로세스 도입
• API Tier(Fast, Balanced, Best)와 모델 가중치를 일대일로 매핑하여 인프라 추상화 달성