피드로 돌아가기
Dev.toDevOps
원문 읽기
Production 직접 수정으로 인한 장애를 Blue-Green Deployment 구조로 해결
I Broke My Website. Then I Fixed It. Then My Fix Broke It Again.
AI 요약
Context
별도의 Staging 환경이나 Deploy Pipeline 없이 Live Server에서 파일을 직접 수정하는 구조적 취약점 보유. 코드 변경 시 즉각적인 검증 수단 부재로 인해 부분적 시스템 붕괴 및 서비스 다운타임 발생.
Technical Solution
- Production 환경 내 두 개의 독립적인 인스턴스를 운영하는 Blue-Green Deployment 모델 도입
- 신규 코드를 Idle Copy에 먼저 배포하여 실제 트래픽 유입 전 내부 검증 수행
- 검증 완료 후 트래픽 전환을 통해 서비스 가동 시간을 유지하는 Zero-downtime 배포 구현
- 장애 발생 시 즉시 이전 버전으로 회귀하는 Instant Rollback 메커니즘 구축
- 사용자 제보에 의존하지 않는 자동화된 Health Check 시스템 도입을 통한 가용성 감시
실천 포인트
- Production 환경 직접 수정 금지 및 전용 Deploy Pipeline 구축 여부 점검 - 배포 후 수 초 내에 이전 버전으로 복구 가능한 Rollback 전략 수립 - 모든 라우팅 경로의 정상 작동 여부를 확인하는 자동화된 Health Check 모니터링 적용