VLM 기반 GUI 시맨틱 이해로 RPA의 좌표 의존성 해결 및 32k+ Star 달성

Context

기존 RPA 도구는 픽셀 좌표나 Element ID 기반의 Hardcoded 경로에 의존하여 UI 변경 시 스크립트가 파손되는 취약한 구조를 가짐. API나 플러그인 지원이 없는 레거시 시스템의 자동화를 위해 인터페이스의 시각적 맥락을 이해하는 새로운 접근 방식이 필요함.

Technical Solution

• Seed 시리즈 기반 VLM을 통한 화면 내 UI 요소의 시맨틱 분석 및 자연어 명령-액션 매핑 구조 설계
• 단순 좌표 기반 제어가 아닌 시각적 이해를 통한 'Save 버튼' 등 요소의 의미적 식별로 인터페이스 변경에 유연하게 대응하는 메커니즘 구현
• GUI, DOM 정보를 결합한 Hybrid Browser Agent 전략을 통해 웹 환경의 제어 정밀도 향상
• Event Stream 아키텍처 도입을 통한 실시간 UI 피드백 루프 형성 및 디버깅 가능성 확보
• Agent TARS(CLI 기반 시각적 이해)와 UI-TARS Desktop(네이티브 앱 제어)의 상호 보완적 계층 구조 구축