28개 모듈 기반 200ms 미만 저지연 Voice AI 플랫폼 구축

Context

다양한 음성 처리 요구사항을 단일 플랫폼에서 통합 처리하기 위한 고효율 아키텍처 필요성 증대. 기존의 단일 모델 기반 처리 방식에서 벗어나 확장 가능한 모듈형 구조 설계가 요구됨.

Technical Solution

• 28개 독립 모듈 구성을 통한 Speech Recognition, Diarization, Emotion Recognition 기능의 유연한 결합
• Whisper 기반 5종 Backend(faster-whisper, whisper.cpp, ONNX, TensorRT, OpenAI API) 제공을 통한 환경별 추론 최적화
• REST, WebSocket, gRPC 인터페이스 동시 지원으로 실시간 스트리밍 및 비동기 데이터 처리 효율 극대화
• Edge-TTS와 pyttsx3 조합을 통한 TTS Synthesis 지연 시간 최소화 및 처리 속도 향상
• Docker 기반 GPU/CPU 런타임 추상화로 다양한 하드웨어 가속 환경에서의 배포 일관성 확보

Impact

• Real-time Streaming 구현을 통한 200ms 미만의 초저지연 처리 달성

Key Takeaway

특정 추론 엔진에 의존하지 않는 Multi-backend 전략을 통해 하드웨어 제약 사항을 극복하고 서비스 가용성을 높이는 설계 방식