VLM 기반 시각적 테스트 도입으로 코드 커버리지 9% 향상 및 테스트 취약성 해결

Context

XML 기반 요소 ID 및 계층 구조에 의존하는 기존 Mobile Test Automation의 한계점 분석. UI의 사소한 변경이나 컴포넌트 이름 수정만으로도 테스트가 실패하는 Flaky Test 문제 발생.

Technical Solution

• invisible XML 구조 분석 방식에서 Visual Interface 분석 방식으로 패러다임 전환
• Vision Language Models(VLM)를 활용한 스크린샷 기반 UI 요소 인식 로직 설계
• Element ID 추적 대신 시각적 문맥을 통한 Login Button, Text Field 등 컴포넌트 식별
• 자연어 기반 테스트 명령어 처리를 통한 UI 변경 사항에 대한 유연한 대응 구조 확보
• 사용자 관점의 시각적 검증 프로세스 구축을 통한 테스트 안정성 강화

Impact

• 기존 테스트 방식 대비 코드 커버리지 9% 향상
• 기존 자동화 도구가 발견하지 못한 Google Play 앱 내 신규 버그 29건 식별

Key Takeaway

테스트 대상의 내부 구현 구조가 아닌 사용자가 실제로 경험하는 인터페이스 계층을 검증함으로써 구조적 결합도를 낮추고 테스트 신뢰도를 높이는 설계 원칙