API 테스트에서 신뢰할 수 있는 데이터 전략 도입으로 비결정적 실패를 제거하고 재현 가능한 테스트 스위트 구축

Context

공유 스테이징 데이터베이스의 표류, 타임스탬프 등 시간에 의존하는 테스트, 동시 실행으로 인한 경합 조건이 API 테스트를 신뢰할 수 없게 만들었다. 또한 외부 서비스의 레이트 제한과 비결정적 동작으로 인해 로컬에서 재현 불가능한 간헐적 실패가 발생했다. 이러한 결과로 PR 승인이 장기화되고 팀의 조사 시간이 증가하면서 가치 전달이 지연되었다.

Technical Solution

• 정적 시드 데이터 관리: Liquibase 또는 Flyway를 사용해 국가 코드, 권한, 가격대 같은 불변 참고 데이터를 반복 가능한 마이그레이션으로 버전 관리하고 매 환경에서 동일하게 적용
• 픽스처 기반 테스트 데이터: JSON 또는 SQL 파일로 작은 큐레이션 데이터셋을 정의해 테스트 저장소에 함께 커밋하고 빠른 로드와 가독성 확보
• 팩토리 패턴 활용: UserFactory.create(role: ADMIN) 같은 팩토리 코드로 데이터 기반 테스트에 필요한 다양한 순열과 고유성을 지원하면서 시드 표면 최소화
• 계약 기반 목(Mock) 생성: OpenAPI 또는 계약 테스트에서 목 동작을 생성해 명세와 목 간의 표류 방지
• WireMock 또는 Postman 목 서버 도입: HTTP 스텁 처리, 레이턴시 주입, 상태 저장 시나리오로 신뢰도 높은 API 시뮬레이션 구현
• 데이터 마스킹 및 합성 생성: CI 환경에서 프로덕션 값 노출 방지하면서 프로덕션 같은 특성 유지

Impact

산업 사례 연구(ICST 2024)에서 비결정적 테스트로 인한 개발자 생산성 저하가 측정 가능하게 드러났다.

Key Takeaway

테스트 데이터를 자동화의 1급 아티팩트로 취급해 버전 관리하고, 재현 가능성을 보장하는 데 우선순위를 두면 신뢰할 수 있는 CI 게이트를 구축할 수 있다. 정적 시드, 픽스처, 팩토리의 조합으로 현실성과 속도, 유지보수성의 균형을 맞추는 것이 핵심이다.