QA가 서버를 죽여본 이유 – Host Level 카오스 엔지니어링 테스트

Context

MSA 구조에서 각 서비스 파편화로 인해 특정 연관 서비스 장애 시 우리 서비스에 미치는 영향 파악이 어렵다. 기존에는 개발 단계에서 로그와 모니터링만으로 복원력을 검증했기에, 시스템 관점에서는 복구 완료라도 고객 관점에서는 데이터 꼬임이나 중복 결제 위험이 존재했다.

Technical Solution

• DB 장애 시뮬레이션 → 증정품 포함 주문 시나리오로 결제는 완료되나 증정 정보 누락 버그 발견
• 메시지 큐 장애 시뮬레이션 → 결제 버튼 대기 후 504 에러 발생했으나 주문 완료 상태 기록 확인
• 캐시 서버 장애 시뮬레이션 → TTL 5분 경과 후 검색 불가, 카테고리 오류, 메인 화면 부하 발생 확인
• DB 완전 차단 및 Failover 두 시나리오로 나누어 테스트
• 복구 후 데이터 정합성 검증流程 수립

Impact

9개 주요 버그 발견, 4개 즉시 개선, 5개 2026년 로드맵 반영

Key Takeaway

시스템 로그에 '정상'으로 찍혀도 고객이 체감하는 경험은 장애일 수 있으므로, QA가 고객 시나리오 기반으로 실제 화면을 확인해야 한다.