CSP를 중심으로 본 자동화 테스트 실전 사례

Context

올리브영은 반복적인 수동 테스트로 인한 리소스 낭비와 24시간 서비스 모니터링 불가로 인한 문제 조기 인지 불가 상태였다. 특히 긴급·분리 배포 시 모니터링을 진행하지 않아 품질 검증이 어려웠다.

Technical Solution

• CSP 기반 테스트 케이스 설계: 사용자 플로우 위주로 TC를 구성하고 CSP 흐름상 필수 확인 항목만 자동화 (UI 변경 빈번 영역은 제외하여 유지보수 비효율 방지)
• API 연동 데이터 정합성 검증: 백오피스 API로 상품 코드 조회 → 재고 API, 상품 상태, 프로모션 정보 추출 → 실제 UI 표시 가격·할인가·배송비 정책의 정확성 검증
• 동적 상품 선정 로직: 테스트 시점의 실제 재고 상태를 확인하고 테스트 케이스에 적합한 상품을 자동 선정 (기 정해진 상품 사용 대신 실시간 데이터 기반)
• 다중 실행 스케줄링: STG 통합 테스트(수동 실행), 정기·긴급·분리 배포(Blue-Green Deployment 후 Datadog Hit Rate 기준 자동 실행), 매일 오전 1회(TeamCity 스케줄링)
• 실기기 기반 테스트 환경: Selenium과 Appium을 활용한 실기기 테스트로 결제 플로우까지 정확한 검증 수행, CI/CD는 TeamCity 사용
• 결과 추적 및 즉각 대응: 모든 TC를 TestRail에 등록, 테스트 결과를 Slack으로 자동 리포트, 실패 원인 분석을 위해 핸드폰 녹화 기능으로 당시 상황 기록

Impact

• 평균 2MD 리소스 감소 (기존 모니터링 리소스 제외)
• 주문서 UI 깨짐, 부분 취소 오류, 쿠폰 다운로드 오류 등 고객 주문 밀접 영역의 이슈를 배포 후 VOC 발생 이전에 조기 검출

Key Takeaway

자동화 테스트 성공의 핵심은 기술 선택보다 '어떤 영역을 자동화하고 무엇을 검증할 것인가'의 선별이 중요하며, UI 기능만 확인하지 말고 API를 통한 데이터 정합성까지 검증해야 실제 고객 경험 문제를 사전에 발견할 수 있다.