피드로 돌아가기
Dev.toDevOps
원문 읽기
단순 Pass/Fail을 넘어 'Fast Failure Evidence' 중심의 테스트 신뢰성 설계
The Browser Test Failed. Can You Actually Prove Why?
AI 요약
Context
동적인 Browser Application과 AI 생성 코드의 증가로 인해 기존의 Pass/Fail 기반 테스트 결과만으로는 장애 원인 파악에 한계 노출. 특히 CI 환경의 일시적 오류(Flakiness)와 UI Drift를 구분하지 못해 발생하는 엔지니어링 리소스 낭비가 심화된 상황.
Technical Solution
- 단순 실행 속도 최적화에서 탈피하여 장애 분석 시간을 단축하는 'Fast Failure Evidence' 체계 구축
- DOM 상태, Browser Console Error, Network Request/Response, Step-level Timing을 포함한 고밀도 컨텍스트 캡처 설계
- UI Drift와 AI Agent Drift를 구분하기 위해 Prompt, Model Version, Page State 등 AI 의사결정 이력 기록 로직 도입
- Infinite-scroll 및 Virtualized List의 특성을 반영하여 DOM Position이 아닌 Application-level Identifier 기반의 Locator 전략 채택
- 리스크 수준에 따라 Visual Check부터 Network-response Validation까지 차등화된 검증 Evidence 요구 수준 설정
실천 포인트
- 테스트 실패 시 단순 스크린샷 외에 네트워크 로그와 DOM 스냅샷이 함께 저장되는지 확인 - AI 기반 테스트 도입 시 모델 버전과 입력 프롬프트를 메타데이터로 기록하여 재현성 확보 - 가상 리스트(Virtualized List) 테스트 시 단순 스크롤이 아닌 특정 데이터 요청 완료 후 ID 기반 검증 수행 - 릴리즈 결정 프로세스에 '증거의 강도(Evidence Strength)' 기준을 정의하여 불필요한 수동 검토 제거