나의 접근성 스택과 Wayland에서의 미래

Context

X11 기반의 입력 자동화 생태계가 Wayland로 전환되며 표준 API 부재로 인한 기능 단절 발생. 특히 Talon Voice와 같은 고수준 접근성 도구가 요구하는 윈도 관리 및 입력 제어 권한을 Wayland 컴포지터가 제공하지 못하는 구조적 한계 직면.

Technical Solution

• Adversarial Accessibility 설계를 통한 애플리케이션 협조 없는 강제적 UI 조작 체계 구축
• RapidOCR 기반의 화면 텍스트 스캔과 시선 추적(Eye Tracking)을 결합한 좌표 기반 입력 매핑
• AST(Abstract Syntax Tree) 기반의 토큰 참조 및 Hat 체계를 활용한 Cursorless 음성 코딩 인터페이스 구현
• D-Bus 프로토콜을 통한 외부 STT 프로그램(dsnote) 호출 및 커스텀 스크립트 기반의 워크플로우 확장
• X11의 xdotool 수준의 입력 자동화를 위한 컴포지터별(GNOME, KDE, wlroots) 개별 API 구현 시도