피드로 돌아가기
Dev.toDevOps
원문 읽기
PR 피드백 5분 단축을 위한 Tiered Playwright E2E 전략
A Tiered Playwright E2E Strategy: From PR Smoke to Production Validation
AI 요약
Context
대규모 다중 도메인 제품의 E2E 테스트 규모 확장에 따른 테스트 실행 속도 저하 및 신뢰도 하락 문제 발생. 모든 테스트를 단일 풀로 관리함에 따라 PR 병목 지점이 생성되고 장애 발생 시 책임 소재 파악이 어려운 구조적 한계 직면.
Technical Solution
- Playwright Project 기반의 도메인별 파티셔닝을 통한 CI 병렬 처리 및 팀별 Ownership 라우팅 체계 구축
- 실행 시간 측정 기반의 Heavy/Core 프로젝트 분리를 통한 Worker 부하 균형 최적화
- @smoke, @production-validation 등 직교하는 두 개의 태그 축을 도입하여 테스트 목적과 실행 파이프라인을 분리 설계
- dotenv의 override: false 설정을 통해 환경 변수 주입 우선순위를 CLI-first로 강제하여 환경 오작동으로 인한 배포 사고 방지
- 실행 주기와 목적에 따라 PR Smoke-Nightly Regression-Prod Validation으로 이어지는 계층형 실행 모델 적용
- 하드웨어 제약이 있는 미디어 캡처 등의 테스트를 위해 프로젝트 단위의 독립적인 Browser launchOptions 설정 적용
실천 포인트
- 테스트 케이스 ID와 실행 티어 태그라는 두 개의 독립적인 태그 체계 구축 여부 확인 - 단일 도메인의 실행 시간이 다른 작업의 병목이 되는지 HTML 리포트의 per-spec timing으로 검증 - .env 설정이 CLI 인자를 덮어쓰지 않도록 override: false 설정 적용 - 10분 이상의 장기 실행 테스트(Endurance)를 일반 CI 파이프라인에서 분리하여 전용 레인으로 구성