UI 변경으로 인한 유지보수 비용 60% 절감을 위한 Vision AI 기반 테스트 설계

Context

전통적인 Mobile Test Framework는 Element Locator 의존성으로 인해 UI 변경 시 테스트 스크립트가 파괴되는 구조적 한계 보유. 특히 대규모 테스트 셋(200+ tests) 운영 시 QA 리소스의 상당 부분이 기능 검증이 아닌 단순 Selector 수정에 소모되는 비효율 발생.

Technical Solution

• Element-based Identification에서 Vision AI 기반 인식 체계로의 전환을 통한 Locator 의존성 제거
• Vision AI를 통한 아이콘, 레이아웃 위치, 색상, 형태 등 시각적 컨텍스트 분석 기반의 요소 식별 로직 구현
• YAML 기반의 선언적 작성 방식을 넘어 Plain English 인터페이스를 통한 테스트 작성 진입 장벽 최소화
• Native Framework(Espresso, XCUITest)의 고속 유닛 테스트와 Cross-platform 도구의 E2E 회귀 테스트를 조합한 계층적 테스트 전략 채택
• CI/CD 파이프라인 통합을 통해 빌드 및 PR 단계에서 자동 실행되는 안정적 피드백 루프 구축

Impact

• Appium 기반 대규모 테스트 운영 시 QA 시간의 60~70%를 점유하던 Selector 수정 리소스 제거
• 첫 설정에 소요되던 반나절(half a day) 분량의 복잡한 환경 설정(Node.js, JDK, SDK 등) 공수 절감

Key Takeaway

테스트 자동화의 핵심 가치는 초기 구축 속도가 아닌 Total Cost of Ownership(TCO)에 있으며, UI 변동성이 높은 환경일수록 식별자 기반이 아닌 시각적 맥락 기반의 추상화 계층 도입이 필수적임.