OpenAI Realtime API 기반의 Low-latency 음성 가이드 및 Semantic Cursor 제어 구현

Context

STT-LLM-TTS로 이어지는 기존 3단계 파이프라인의 직렬 처리 구조로 인한 높은 Latency와 사용자 경험 저하 발생. 정적인 툴팁이나 텍스트 기반 안내 방식이 지닌 인터랙션의 한계를 극복하기 위한 실시간 음성 기반 인터페이스 필요성 대두.

Technical Solution

• OpenAI Realtime API 도입을 통한 단일 Bidirectional Stream 구조 설계로 오디오 입출력 간 Latency 최소화
• 프라이버시 보호 및 비용 최적화를 위해 Push-to-talk 시점에만 스크린 프레임을 캡처하는 Intent-based Capture 전략 채택
• 레이아웃 변경에 유연하게 대응하기 위해 Pixel Coordinate 대신 ARIA label 및 Role 기반의 Semantic Selector를 통한 타겟 요소 식별
• 사전 정의된 시나리오 스크립팅 방식에서 탈피하여 기존 문서 기반의 Retrieval-grounded 지식 베이스 구축으로 오픈 엔드 질문 처리
• 단일 script 태그 삽입만으로 동작하는 경량 Embeddable 아키텍처 설계를 통한 배포 복잡도 제거