AI가 짜주는 깨지는 테스트는 그만, 프로젝트 컨텍스트를 학습한 Cypress AI Skills

Context

범용 AI 도구는 프로젝트 고유의 Selector 전략과 Custom Command를 이해하지 못하는 한계 존재. 이로 인해 CSS Selector 의존이나 임의의 wait 호출 등 유지보수가 어려운 저품질 테스트 코드가 생성됨. 결국 개발자가 AI 생성 코드를 대부분 수정해야 하는 리소스 낭비 발생.

Technical Solution

• AI에게 단순히 코드를 생성하게 하는 대신 팀의 테스트 작성 방식을 가르치는 Code Alignment 전략 도입
• npx skills add cypress-io/ai-toolkit 명령어를 통한 프로젝트 내부의 AI 스킬셋 설치 및 구성
• cypress-author 기능을 통해 프로젝트의 Cypress 설정, Support 파일, Custom Command를 AI가 사전 스캔하는 구조
• getByCy와 같은 전용 Selector와 추상화된 Custom Command를 우선 사용하도록 유도하는 컨텍스트 기반 생성 방식
• cypress-explain을 활용하여 기존 테스트의 Flakiness, Brittle Selector, 동기화 부재 등의 안티 패턴을 탐지하고 교정하는 리뷰 프로세스
• AI 스킬 설정을 코드베이스에 포함하여 팀 전체가 동일한 테스트 컨벤션을 공유하는 버전 관리 전략

Key Takeaway

AI의 가치는 단순한 코드 생성 능력이 아닌 도메인 및 프로젝트 컨텍스트와의 정렬(Alignment)에서 결정됨. 일관된 컨벤션을 문서화하고 이를 AI에게 학습시킬 때 비로소 실무 수준의 자동화 도구로 활용 가능함.