LiveKit-FastAPI 기반 Low-Latency Voice AI 아키텍처 설계

Context

단순 데모 수준의 Voice AI와 달리 실제 프로덕션 환경은 Packet Jitter, 사용자 인터럽트, TTS 지연 등 복잡한 타이밍 이슈가 발생함. 단순한 프레임워크 도입보다 State 관리와 Latency 누적 지점 최적화를 통한 시스템적 접근이 필수적인 상황임.

Technical Solution

• Client 로직 최소화 및 Backend 중심의 Short-lived Token 발급을 통한 세션 보안 강화
• User 세션당 단일 LiveKit Room 할당으로 Event Scope 명확화 및 Cross-talk 방지
• STT Transcript를 Partial/Final/Revised 상태로 분리하여 Orchestration 루프의 Race Condition 제거
• FastAPI 기반의 Schema-first Orchestration 도입으로 구조화된 Action Envelope 반환 및 Side Effect 없는 Retry 구현
• API 서버와 Orchestration Worker를 분리 배포하여 부하 발생 시 독립적 Scaling 구조 확보
• Kubernetes Readiness Check에 STT/TTS 등 외부 의존성 상태 검증 로직을 포함하여 실제 서비스 가능 상태를 판별