310ms 초저지연 달성, Gemini API 기반 실시간 음성 폼 아키텍처

Context

전체 오디오 파일을 전송 후 응답을 기다리는 기존 방식의 구조적 한계. 2~5초에 달하는 왕복 지연 시간으로 인한 사용자 경험 저하. 실시간성에 가까운 응답 속도 확보가 필수적인 상황.

Technical Solution

• 오디오 청크 단위의 실시간 전송을 위해 WebSocket 기반의 양방향 스트리밍 아키텍처 설계
• Browser-side에서 4096 샘플 크기의 청크를 생성하여 지연 시간과 오버헤드 간의 최적 균형 유지
• Gemini 2.0 Flash 모델의 generateContentStream API를 활용한 텍스트 결과값의 실시간 스트리밍 처리
• PCM, WAV, MP3 등 서로 다른 API 요구 사양을 충족하기 위해 ffmpeg를 통한 오디오 코덱 변환 프로세스 구축
• 불필요한 API 호출 및 비용 절감을 위해 RMS 임계값 기반의 무음 구간 필터링 로직 적용
• 브라우저 호환성 확보를 위해 ScriptProcessorNode를 활용한 오디오 캡처 인터페이스 구현

Impact

• 전체 응답 지연 시간 약 310ms 달성 (브라우저 캡처 93ms, 네트워크 50ms, Gemini 처리 150ms, 스트리밍 20ms)
• 폼 제출 건당 예상 비용 $0.0005 수준으로 최적화

Key Takeaway

사용자 인지 속도를 결정짓는 핵심은 단순 전송 속도가 아닌 스트리밍 방식의 데이터 처리 구조임. 특히 오디오 데이터 처리 시 코덱 불일치 문제는 데이터 무결성에 치명적이므로 엄격한 포맷 검증 설계가 필요함.