로컬 GPU 기반 40초 내 고품질 AI 음악 생성 및 정밀 오디오 세그멘테이션 구현

Context

기존 AI 음악 생성 도구의 클라우드 의존성으로 인한 데이터 프라이버시 및 비용 문제 발생. 세밀한 부분 수정(Repaint)이나 특정 악기 추가(Lego mode)와 같은 정밀 제어 기능의 부재로 인한 워크플로우 한계 존재.

Technical Solution

• Torch Compile 도입을 통한 반복 생성 속도 최적화 및 추론 지연 시간 단축
• SFT(Supervised Fine-Tuning) 및 Base 모델의 하이브리드 운영을 통한 생성 품질과 유연성 동시 확보
• BF16 정밀도 모델 및 VRAM 최적화 프리셋 적용으로 하드웨어 제약 사항 내 효율적 리소스 할당
• SAM Audio 기반의 BF16 모델을 활용한 보컬, 드럼, 베이스 등 고정밀 오디오 세그멘테이션 구조 설계
• LoRA 및 LoKr 학습 인터페이스 통합을 통한 특정 스타일의 효율적인 모델 미세 조정 환경 구축
• Gradio Live 프록시 포트 설정을 통한 클라우드 GPU(RunPod, SimplePod) 환경의 원격 인터페이스 추상화