WER 44% 개선 및 E2E Neural 구조를 통한 Voice Assistant 지연 시간 최적화

Context

Wake Word부터 TTS까지 이어지는 Classic 4단계 Pipeline 구조의 Latency 누적 문제 발생. Cloud Round-trip으로 인한 2~5초의 응답 지연이 인간의 기대치인 300~500ms를 크게 상회하는 한계 직면.

Technical Solution

• Wake Word Detection의 On-device 배치를 통한 프라이버시 확보 및 초기 반응 속도 개선
• ASR, NLP, TTS를 단일 신경망으로 통합한 End-to-End(E2E) Neural Architecture 도입으로 단계별 Error Accumulation 제거
• Cloud-Edge Hybrid 구조 설계를 통한 연산 집약적 NLP 처리와 저지연 응답의 균형 달성
• 실시간 스트리밍 패턴 기반 ASR 모듈 적용으로 전체 Pipeline의 전송 지연 최소화
• MiMo-V2.5와 같은 Multimodal Pipeline 채택을 통한 톤, 감정 등 세부 제어 가능 구조 설계

Impact

• 전통적 방식 대비 Word Error Rate(WER) 11.3%에서 6.3%로 낮춰 44%의 정확도 개선 달성
• E2E 모델 적용을 통해 1.36초 수준의 Latency 구현

Key Takeaway

단순한 기능 구현보다 Latency와 Accuracy 사이의 Trade-off 최적화 지점을 찾는 것이 핵심이며, 전용 하드웨어 제약에 따른 On-device와 Cloud의 적절한 역할 분담(Hybrid)이 시스템 가용성을 결정함.