Terraform 기반 SageMaker Endpoints 구축을 통한 Zero-downtime ML 배포 체계 구현

SageMaker Endpoints: Deploy Your Model to Production with Terraform 🚀

Suhas Mallesh2026년 4월 11일7분intermediate

AI 요약

Context

모델 학습 이후의 실시간 서빙 단계에서 발생하는 확장성 확보 및 배포 안정성 문제 해결 필요. 수동 설정으로 인한 환경 불일치와 업데이트 시 발생하는 서비스 중단 위험을 제거하기 위한 IaC 도입 필요성 대두.

Model, Endpoint Configuration, Endpoint의 3계층 분리 설계를 통한 모델 업데이트와 인스턴스 변경의 독립적 제어 구현
create_before_destroy 옵션 적용으로 기존 설정 삭제 전 신규 설정 생성을 통한 서비스 무중단 업데이트 달성
Canary deployment 전략을 통한 1개 인스턴스 우선 배포 및 300초의 Wait interval 검증 후 전체 트래픽 전환 구조 설계
CloudWatch Alarm 연동 Auto-rollback 설정을 통한 배포 오류 발생 시 즉각적인 이전 버전 복구 체계 구축
Traffic 기반 Auto-scaling 설정을 통한 가변적 워크로드 대응 및 리소스 최적화 실현

실천 포인트

1. Endpoint Config 변경 시 `create_before_destroy = true` 설정을 통해 다운타임 방지 여부 확인

2. Canary 배포 시 `wait_interval_in_seconds`와 `canary_size`를 실제 트래픽 특성에 맞춰 조정

3. Production 환경에서는 `latest` 태그 대신 구체적인 버전 태그를 사용하여 Container Image의 재현성 확보

4. 시간당 요청 수 100건 미만의 저트래픽 서비스는 비용 최적화를 위해 Serverless Inference 검토

태그