피드로 돌아가기
Dev.toAI/ML
원문 읽기
Agentic Testing의 병목인 Discovery Gap을 해결한 Discovery-First 설계
Agentic Testing Has a Discovery Gap Nobody Talks About
AI 요약
Context
기존 Agentic Testing 툴들이 Generation, Execution, Verification 단계의 자동화에만 집중하여 실제 테스트 대상 선정이라는 Discovery 단계의 인적 의존성 유지. 이로 인해 테스트 생성 속도는 향상되었으나, 비즈니스 임팩트가 큰 Critical Path를 누락하는 설계적 한계 발생.
Technical Solution
- URL 기반 Crawling을 통한 시스템 State Transition 분석 및 User Journey 자동 추론 구조 설계
- 단순 URL 매핑을 넘어 Blast Radius 기준의 중요도 가중치를 적용한 Test Plan 생성 로직 구현
- Human-in-the-loop 기반의 Plan Review 단계를 도입하여 Generation 이전의 설계 검증 프로세스 강제
- Page-based 접근법에서 State-based 접근법으로 전환하여 단순 페이지 크롤링과 실제 사용자 상태 변화를 구분하는 분석 모델 적용
- 테스트 시나리오 정의(Spec)를 입력값으로 받는 기존 구조에서 URL을 입력값으로 받는 Discovery-First 파이프라인으로 아키텍처 변경
실천 포인트
- AI 테스트 도입 시 Generation 속도보다 Test Case의 Sampling 전략 및 Coverage 적절성을 우선 검토 - 단순 URL 크롤링 기반 테스트 생성 도구가 비즈니스 Critical Path(결제, 인증 등)를 식별할 수 있는지 검증 - AI가 제안한 테스트 플랜을 인간이 승인/수정하는 Review Layer를 파이프라인에 포함하여 오버헤드 및 리소스 낭비 방지