Vapi와 Twilio 조합으로 지연 시간 최소화한 AI Voice 에이전트 설계

Context

STT, TTS, 다이얼로그 흐름을 개별적으로 결합하는 방식의 한계. Latency Jitter, Barge-in 경합 조건, 세션 상태 정리 미흡으로 인한 서비스 품질 저하 발생.

Technical Solution

• Twilio는 전화 라우팅 및 PSTN 연결에만 집중하고 Vapi가 음성 합성 및 STT를 전담하는 책임 분리 구조
• Vapi Assistant 설정을 통해 OpenAI GPT-4, ElevenLabs, Deepgram을 통합한 AI 파이프라인 단일화
• 비즈니스 로직 처리를 위해 Vapi와 서버 간의 Function Calling 기반 Webhook 통신 설계
• 보안 강화를 위해 x-vapi-signature 헤더 기반의 HMAC SHA256 서명 검증 로직 적용
• Webhook 타임아웃 방지를 위해 즉시 응답 후 비동기로 페이로드를 처리하는 이벤트 기반 아키텍처 채택
• 사용자 발화 종료 전 TTS 생성을 시작하는 partial transcripts 활용 최적화 전략

Impact

• TTS 생성 지연 시간: 문장 길이에 따라 300~600ms 발생
• 사용자 인터럽트 후 봇 응답까지의 전체 Round-trip: 800~1200ms 소요
• Vapi Webhook 타임아웃 제한: 5초

Key Takeaway

통신 계층(Carrier)과 지능 계층(AI)의 책임을 엄격히 분리하여 레이스 컨디션을 방지하고 시스템 복잡도를 낮추는 설계 원칙.