메시징 시스템 QA, 정합성을 지켜낸 올리브영의 이야기

Context

올리브영은 상품 정보를 여러 시스템(상품 관리, 주문, 고객 앱)에 동일하게 유지해야 하는데, 기존 배치 기반 처리에서 실시간 메시지 기반 구조로 전환하면서 데이터 흐름이 복잡해졌다. 다수의 중간 테이블을 거쳐 최종 테이블에 도달하는 과정에서 데이터 불일치가 발생할 수 있었고, 모든 경우의 수를 UI 테스트로 검증하기에는 리소스 한계가 있었다.

Technical Solution

• 정합성 검증 플로우 정의: 변경된 상품 리스트 조회 → A/B/C/D 중간 테이블별 상세 정보 조회 → 단계별 데이터 비교
• Postman으로 API 호출 및 응답값 비교 로직 구현: 필드명이 다른 경우를 정의서로 정리해 자동 매핑
• 상품 번호를 20개씩 분할 처리: API 타임아웃 및 Postman 결과 크기 제한 초과 방지
• TeamCity로 스케줄링 실행: QA/STG/운영 환경에서 주기적 테스트 자동화
• Datadog으로 모니터링 및 알림: 정합성 이상 발생 시 실시간 통지

Impact

• 확인 범위: 전체 구간 중 75% API 자동화 테스트로 커버
• 인적 리소스: 45% 절감
• 이슈 발견율: 전체 발견 이슈 중 약 51%를 자동화 테스트로 검출 (메시지 타이밍, 중복 발행, 성능 문제, DB 특정상 문제 등)

Key Takeaway

메시지 기반 실시간 시스템에서 데이터 정합성 검증은 최종 테이블만 확인하는 것이 아니라 중간 단계별로 자동화된 API 호출로 검증해야 수동 테스트로 발견 불가능한 타이밍 및 예외 케이스를 포착할 수 있다. 다중 계층 데이터 파이프라인에서는 QA와 개발팀의 협력으로 데이터 조회 API와 응답값 정의서를 먼저 구축해야 자동화 테스트 시스템을 효과적으로 운영할 수 있다.