Agentic Testing 도입을 통한 Goal-driven 검증 체계 구축 및 E2E 확장

Context

기존 Deterministic E2E 테스트는 고정된 UI 경로(Journey)를 검증하는 구조로 인해 UI 변경에 취약한 특성을 가짐. 복잡한 사용자 시나리오에서 발생하는 비결정적 동작을 효율적으로 검증하기 위한 새로운 테스트 레이어의 필요성 대두.

Technical Solution

• Journey 기반 검증에서 Goal-driven 검증 모델로 전환하여 테스트 유연성 확보
• Playwright MCP를 통한 DOM 상태 실시간 관찰 및 LLM의 추론 기반 Action 결정 구조 설계
• Natural Language와 Structured YAML 입력을 대조하여 Agent의 명령 해석 정확도 및 매핑 효율성 최적화
• Playwright CLI 기반의 단계별 실행 모델과 AI 생성 코드 기반의 결정론적 테스트 모델 간의 성능 비교 분석
• 기존 Testing Pyramid 상단에 Agentic Testing 레이어를 추가하여 탐색적 테스트와 회귀 테스트의 역할 분리

Impact

• Playwright MCP 방식 적용 시 단순 워크플로우(Thread Reply)에서 실패율 0% 달성
• Generated Playwright Tests 대비 Agent(MCP) 방식의 복잡 시나리오 실패율을 48%에서 12%로 대폭 개선
• 실행 비용($15~$30)과 시간(10분 이상)의 비용 증가를 감수하고 복잡한 UI 동작의 신뢰성 확보