VAD와 On-device 추론을 통한 GPU 사용량 80% 절감 및 300ms 저지연 STT 구현

Context

기존 STT 구현 방식의 무분별한 연속 스트리밍으로 인한 GPU 리소스 낭비와 높은 전력 소비 문제 발생. 모델 재로드 시 발생하는 2~3초의 지연 시간 및 문장 완성 후 결과가 출력되는 높은 Latency 구조의 한계 존재.

Technical Solution

• Silero VAD 도입을 통한 음성 구간 선택적 처리로 무음 구간의 Compute 낭비 제거
• return_times 옵션 활성화로 문장 단위 대기 시간을 제거한 Word-by-word 스트리밍 아키텍처 설계
• Porcupine 기반의 Lightweight Wake Word 모델을 전면에 배치하여 메인 파이프라인의 Deep Sleep 제어
• 모델 재로드 없는 update_language 메서드 활용으로 런타임 중 동적 언어 스위칭 구현
• ONNX 프레임워크 기반의 Tiny 모델 최적화 및 샘플 레이트 변환 파이프라인을 통한 저사양 Edge Device 이식