7,600회 테스트로 검증한 Cloud Provisioning Latency의 실체와 인프라 전략

Context

Cloud Provider가 제공하는 SLA와 가격표에는 실제 인프라 프로비저닝 소요 시간과 실패율에 대한 데이터가 부재한 상황. 이로 인해 Auto-scaling, DR, CI/CD 파이프라인 설계 시 실제 성능 지표가 아닌 추측치에 기반한 아키텍처 설계가 이루어지는 한계 존재.

Technical Solution

• ProvisioningIQ 구축을 통한 AWS, Azure, GCP 3사 인프라의 실제 API 호출 기반 연속 측정 체계 수립
• VM 및 Serverless Container를 대상으로 'API Accepted → Allocating → Ready → Reachable' 단계별 Latency 정밀 측정
• 단순 p50(평균) 지표를 넘어 On-call 엔지니어가 직면하는 p95(최악의 경우) 지표를 통한 시스템 복구 시간 분석
• 리전별 편차 및 유지보수 윈도우에 따른 프로비저닝 시간 급증 현상을 추적하는 벤치마킹 로직 구현
• Resource 생성 후 즉시 파괴하는 Lifecycle 관리를 통해 데이터 오염을 방지한 실제 환경 테스트 수행

Impact

• Serverless Container: GCP Cloud Run(p50 6-8s)이 Azure ACI(p50 ~40s) 대비 최대 20배 빠른 프로비저닝 속도 기록
• Virtual Machines: AWS EC2가 p50 Latency(~34s) 및 성공률(99.8%) 면에서 최상위 성능 입증
• Engineering Velocity: 배포당 40초 단축 시 팀당 연간 약 144시간의 엔지니어링 리소스 회복 가능

Key Takeaway

인프라 선정 시 벤더 제공 벤치마크가 아닌 p95 Latency 기반의 실제 프로비저닝 성능을 검토하여 Auto-scaling 임계치와 RTO(복구 목표 시간)를 재설정하는 설계 원칙 필요.