Appium 없이 AI 에이전트에게 모바일 제어 권한을 부여하는 MobAI

Context

전통적인 모바일 테스트 프레임워크는 인간이 작성하는 스크립트 기반 구조. Verbose한 XML 덤프와 복잡한 XPath 선택자로 인해 LLM Context Window를 빠르게 소모함. AI 에이전트가 실제 모바일 기기를 직접 제어하기 어려운 환경적 한계 존재.

Technical Solution

• MCP(Model Context Protocol) 및 HTTP API 기반의 서버 아키텍처를 통해 Claude Code, Cursor 등 AI 에이전트와 모바일 기기 간의 직접 연결 통로 확보
• raw XML 대신 노이즈를 제거하고 글로벌 인덱스를 부여한 Compact Accessibility Tree 구조를 도입하여 LLM의 토큰 소모 최적화
• XPath 대신 텍스트, 타입, 공간적 위치를 활용한 Semantic Predicate 기반의 요소 타겟팅 방식 적용
• 개별 함수 호출 방식의 오버헤드를 줄이기 위해 30가지 이상의 액션을 하나의 JSON 배열로 처리하는 Batched DSL(Domain Specific Language) 설계
• Accessibility Tree 분석이 어려운 Custom UI 대응을 위해 OCR Fallback 및 LLM 최적화 압축 스크린샷 캡처 메커니즘 구현
• 재시도, 건너뛰기, 계획 재수립 등 AI 에이전트가 직접 구현할 필요 없는 내장 실패 처리 전략(Built-in Failure Handling) 제공

Key Takeaway

AI를 위한 도구 설계는 기존 인간 중심의 인터페이스를 단순 변환하는 것이 아니라 LLM의 Context Window와 추론 특성에 맞게 데이터 밀도를 최적화하는 과정이 핵심임.