피드로 돌아가기
토스 기술블로그DevOps
원문 읽기
토스 기술블로그누군가는 토스를 테스트하는 동안, 우리는 테스트하는 법을 만듭니다.
주당 400건의 변경사항을 감당하는 AI 기반 QA 플랫폼 Tossion 구축
AI 요약
Context
매주 수백 건의 코드 변경이 발생하는 고빈도 배포 환경에서 상용 테스트 도구의 경직된 워크플로우가 배포 속도와 일치하지 않는 병목 발생. 테스트 케이스 작성 및 실행의 수동 반복 작업으로 인한 QA 리소스 한계와 품질 판단 기준의 파편화 해결 필요.
Technical Solution
- TestRail 대체 및 Toss Butler 통합을 통한 QA 전 과정의 단일 플랫폼화
- PRCheck 도입을 통한 변경 코드 기반 영향 범위 분석 및 테스트 우선순위 자동 산출
- tcgen 설계를 통한 PRD 및 디자인 문서 기반 Test Case 초안 자동 생성 구조 구현
- Toss Doctor 및 Toss Checker를 활용한 Smoke Test와 Regression Test의 단계적 자동화 파이프라인 구축
- Crash Trend 및 Hotfix 대시보드 구축을 통한 정량적 품질 지표 추적 및 재발 방지 체계 마련
- 교체 가능성을 전제로 한 모듈형 시스템 설계를 통해 AI 모델 및 최신 기술의 신속한 대체 구조 확보
실천 포인트
- 배포 빈도가 높을수록 전체 테스트보다 PR 분석 기반의 영향 범위 중심 테스트 전략 수립 - AI 도구 도입 시 '사용자 편의성(Easy-to-use)'보다 '결과 책임(Outcome-driven)' 관점의 자동화 범위 설정 - 기술 변화 속도가 빠른 AI 도구 특성을 고려하여 특정 벤더 종속성을 배제한 플러그인 구조 설계 - 수동 테스트와 자동화 테스트 결과를 단일 뷰에서 통합 모니터링하는 인터페이스 구축