Achieving Test Reliability for Native E2E Testing: Beyond Fixing Broken Tests

Context

네이티브 E2E 테스트 스위트가 1년 이상 지속적인 테스트 수정에도 불구하고 안정성이 개선되지 않았다. 팀은 UI 변경과 환경 불안정성으로 인한 실패를 계속 수정하는 악순환에 빠져 있었고, 엔지니어들이 테스트 스위트의 신뢰성을 상실해가고 있었다. 분석 결과 전체 실패의 상당 부분이 테스트 환경의 불안정성(API 지연 스파이크, 테스트 계정 상태 불일치)에서 비롯되었다.

Technical Solution

• 테스트 환경 격리: E2E 테스트 환경을 개발/스테이징 환경과 분리해 불안정한 빌드와 실험적 기능으로부터의 간섭 제거
• 표준화된 디바이스 이미지 및 에뮬레이터 사용: docker-android를 활용한 컨테이너화된 Android 에뮬레이터 배포로 OS 버전, 설정, 리소스 일관성 확보
• 테스트 세션별 데이터 격리: 각 테스트 실행마다 깨끗한 상태에서 시작하도록 테스트 데이터 초기화
• 하이브리드 테스트 접근: PR 빌드에서는 Docker화된 에뮬레이터 사용, 주기적 실행에서는 실제 디바이스 팜 활용
• 관찰성 및 경고 개선: 과거 테스트 실패 데이터 분석으로 카테고리화하고 실제 회귀와 노이즈를 구분하는 메커니즘 구현

Impact

PR 체크를 Docker화된 에뮬레이터로 전환한 후 피드백 속도 향상 및 클라우드 디바이스 비용 대폭 감소. 테스트 인프라 개선 후 개발자들이 실제 실패를 더 명확히 파악하게 되었고 노이즈 경고 수 감소. 개선된 테스트 스위트가 프로덕션 배포 전 네이티브 앱 회귀를 여러 건 포착.

Key Takeaway

E2E 테스트의 신뢰성은 개별 테스트 수정이 아닌 테스트 환경 안정성, 데이터 격리, 명확한 소유권 정의에 투자할 때 실제로 개선된다. 과거 테스트 실패를 분석해 근본 원인을 파악하고 우선순위 있는 인프라 개선으로 진행하는 것이 반복적 패칭보다 장기적 효과가 크다.