OpenAI Realtime API 기반의 끊김 없는 보이스 인터페이스 구현 전략

Context

브라우저 MediaRecorder의 출력 포맷과 OpenAI API 요구 사양 간의 불일치 발생. 클라이언트 측의 정적 침묵 감지 및 턴 관리 로직 구현의 복잡성 존재. API 키 노출 방지를 위한 보안 릴레이 계층의 필요성 대두.

Technical Solution

• ScriptProcessorNode를 통한 Mono PCM 24kHz 16-bit signed integer 포맷의 실시간 변환 및 Base64 인코딩 전송 구조
• 브라우저의 헤더 설정 제약을 해결하기 위해 Express 기반의 Stateless WebSocket Relay 서버를 구축하여 API 키 보안 강화
• server_vad 설정을 통한 서버 사이드 음성 활동 감지 및 턴 관리 자동화로 클라이언트 로직 최소화
• FIFO 큐와 isPlaying 플래그를 활용하여 비순차적으로 도착하는 오디오 청크의 순차적 재생 보장
• session.update를 통한 function_call 정의 및 클라이언트 측 도구 실행 결과의 conversation.item.create 주입 방식
• response.output_audio.delta 이벤트를 통한 실시간 오디오 스트리밍 렌더링 처리

Key Takeaway

서버 사이드 VAD와 스트리밍 파이프라인 통합을 통해 복잡한 상태 관리 없이 저지연 음성 인터페이스를 설계하는 전략.