Sub-300ms 지연율 달성을 위한 Voice AI 파이프라인 최적화 설계

Context

단순 API 조합 기반의 Voice AI 데모는 실제 운영 환경의 Latency Spike와 WebRTC 세션 불안정성으로 인해 사용자 경험이 급격히 저하됨. 특히 500ms 이상의 응답 지연은 대화의 흐름을 끊어 Call Completion Rate와 CSAT 점수에 직접적인 부정적 영향을 미치는 구조적 한계 존재.

Technical Solution

• VAD Silence Threshold를 200~300ms로 최적화하여 불필요한 대기 시간을 제거한 빠른 파이프라인 트리거 설계
• Batch 방식 대신 Streaming STT 및 Interim Results 처리 구조를 채택하여 LLM 호출 시점의 지연 시간을 80ms 수준으로 단축
• LLM First-token 생성과 TTS Synthesis를 병렬로 연결하는 Streaming overlap 구조를 통해 전체 Latency 100~200ms 추가 회복
• LiveKit SFU를 도입하여 Media Server의 디코딩/리믹싱 부하를 제거하고 Encoded Stream을 직접 포워딩하는 경량 전송 구조 구축
• WebRTC ICE Trickle 및 SIP 통합 설계를 통해 브라우저부터 PSTN까지 전송 계층의 프로토콜 최적화 수행
• Call_id 기반의 Structured Logging을 통해 STT, LLM, TTS 전 구간의 Latency Histogram을 추적하는 관찰 가능성 체계 구축