세금 환급 자동화 : AI-driven UI 테스트 자동화 일지

Context

세금 환급 서비스는 연말정산·현금영수증·세금비서·숨은환급찾기 4가지 서비스가 각각 다른 UX와 인증 방식을 사용하며, 공제 항목·실험 그룹·약관 종류·홈택스 스크래핑 서버 상태 등으로 테스트 플로우가 수십 가지 조합으로 증가했다. 기존 방식으로는 E2E 테스트 1개 제작에 4~8시간이 걸렸고, 40개 테스트 제작에 160~300시간이 필요했으며, UI/정책 변경 시마다 테스트를 재작성해야 했다.

Technical Solution

• Claude Sonnet 4.5를 SDET Agent·Documentation Specialist·Git Master 3가지 페르소나로 조직화: 테스트 설계·아키텍처·문서화·커밋 메시지 작성을 역할 분담해 운영
• Page Object Model 도입(7월 말): 셀렉터 중복 제거로 UI 변경 시 유지보수 포인트를 한 곳으로 단일화
• React 타이밍 이슈 해결(8월): waitForReactInteractionReady() → safeClick() → clickReactButton() 3단계 클릭 API 개발으로 간헐적 클릭 실패 완전 제거
• 약관 플로우 자동 정리(9월): consentOptions.ts로 약관을 중앙 관리하고 URL 기반 서비스 타입 자동 감지 + 필수 약관 매칭으로 4개 서비스 약관 변화를 자동 반영
• 내부 메신저 연동 자동화 루프: 테스트 결과·실패 로그·EventID를 자동으로 내부 메신저에 전송해 QA↔AI 간 즉시 논의 및 코드 수정 반영 가능하게 구조화
• 테스트 격리 및 대규모 리팩토링(9월): 2,147줄 파일을 3개로 분리, userNo 충돌 완전 해결, 23개 테스트 import 자동 수정

Impact

• React 기반 UI 클릭 성공률: 70% → 100%
• 자동화 커버리지: 35개 테스트 완성(7월부터 11월까지 누적)
• 일지 작성 시간: 30~40분 → 1~2분 검토(자동 생성)
• 테스트 추가 시간: 약관 변경 시 설정 파일 1줄 수정으로 완료(기존: 전체 테스트 재작성)
• 팀 규모 효과: AI 3명 + 사람 1명 = 4~5명 규모 자동화 팀 산출물 달성

Key Takeaway

복잡한 도메인의 E2E 자동화에서 QA가 직접 코드를 작성하기보다는 AI에게 문제 정의·맥락·제약을 설명하고 결과 검토에 집중할 때(코드 작성 10%, 문제 정의·요구사항 정리·검토 90%), AI는 아키텍처 설계와 점진적 개선을 자동으로 수행할 수 있다는 점이다. 특히 Page Object Model·React 상호작용 감지·약관 중앙 관리처럼 도메인 특성을 반영한 설계는 AI가 주도하되, 방향 결정과 품질 검증은 QA 인간이 담당하는 분업 구조가 효과적이다.