STT·LLM·TTS 통합 SDK로 Voice AI 파이프라인 지연 시간 해결

Context

기존 Voice AI는 STT, LLM, TTS를 각각 다른 SDK로 연결하는 파편화된 구조. 각 단계마다 200~500ms의 지연 시간이 누적되는 Latency Stacking 문제 발생. 서로 다른 API 인증 패턴과 에러 핸들링으로 인한 개발 복잡도 증가.

Technical Solution

• STT, LLM, TTS 전체 파이프라인을 단일 TypeScript SDK로 통합한 Unified API 설계
• 음성 입력을 토큰이나 도구 호출처럼 처리하는 First-class Stream 아키텍처 도입
• stream() API 하나로 음성 입력, LLM 추론, 오디오 출력을 동시에 처리하는 단일 파이프라인 구조
• Redis 기반의 메모리 백엔드를 활용해 멀티턴 대화의 컨텍스트를 유지하는 세션 관리 전략
• 문장 단위 버퍼링 기법을 적용해 텍스트 스트림을 자연스러운 음성으로 변환하는 실시간 합성 로직
• 제공자 추상화를 통해 코드 수정 없이 STT/TTS 벤더를 교체 가능한 Provider Agnostic 설계

Impact

• 각 서비스 홉(Hop)마다 발생하는 200~500ms의 지연 시간 누적 문제 해결

Key Takeaway

복잡한 다단계 AI 파이프라인일수록 개별 서비스의 최적화보다 데이터 흐름을 단일 스트림으로 통합하는 인터페이스 설계가 전체 시스템 지연 시간 단축에 결정적임.