OS 레벨 UI Automation과 Whisper API를 통한 메시징 생산성 3배 향상

Context

Electron 기반 데스크톱 앱의 격리된 프로세스 구조로 인한 브라우저 확장 프로그램의 입력 제어 불가 문제 발생. 기존 OS 내장 음성 인식 도구의 낮은 정확도와 느린 활성화 속도로 인한 실시간 커뮤니케이션 병목 현상 지속.

Technical Solution

• Windows UI Automation API 활용을 통한 포커스 윈도우 대상 시스템 전역 텍스트 주입 구조 설계
• 브라우저 렌더러 주입 방식이 아닌 OS 레이어 기반의 입출력 인터페이스 구현으로 Electron 앱 제약 해소
• Groq의 Whisper API 기반 고속 전사 모델 채택을 통한 실시간 텍스트 변환 레이턴시 최소화
• Global Hotkey 이벤트를 통한 컨텍스트 스위칭 비용 제거 및 즉각적인 입력 트리거 메커니즘 적용
• 음성 패턴 분석 기반의 자동 문장 부호 생성 로직으로 후처리 편집 공수 단축

Impact

• 입력 속도 개선: 기존 90 WPM에서 최대 150 WPM 수준으로 전사 속도 향상
• 작성 시간 단축: 3문단 기준 작성 시간 120초에서 40초로 약 66% 감소
• 전사 정확도: 일반 문구 99%, 기술 용어 96%, 고유 명사 92% 달성
• 처리 지표: 문장 단위 전사 소요 시간 1~2초 내외 완료

Key Takeaway

특정 프레임워크(Electron)의 샌드박스 제약을 해결하기 위해 애플리케이션 내부가 아닌 OS 레벨의 Accessibility API를 활용한 외부 주입 방식의 유효성 확인.