백업 성공률 100%의 함정, Kymaros를 통한 자동 복구 검증 및 RTO 실측

Context

Velero 등 기존 Kubernetes 백업 도구들이 복구 가능 여부가 아닌 단순 백업 완료 상태만 확인하는 한계 존재. Secret 로테이션, API Deprecation, StorageClass 변경 등 런타임 환경 변화로 인해 백업 데이터가 있어도 실제 애플리케이션 복구가 실패하는 신뢰성 간극 발생.

Technical Solution

• ephemeral namespace 기반의 격리된 Sandbox 환경을 구축하여 운영 환경 영향도 제거
• NetworkPolicy deny-all 및 ResourceQuota 설정을 통한 샌드박스 내 보안 및 자원 격리 구현
• RestoreTest 및 HealthCheckPolicy CRD를 통한 선언적 복구 검증 파이프라인 자동화
• HTTP/TCP 및 Pod Status 체크를 포함한 6단계 가중치 기반 Confidence Score 산출 로직 적용
• 복구 시작부터 헬스 체크 통과까지의 시간을 측정하여 가상 수치가 아닌 실제 RTO 도출
• Kubebuilder 기반 Operator 구조를 채택하고 외부 DB 없이 모든 상태를 CRD로 관리하는 Stateless 설계