피드로 돌아가기
Dev.toInfrastructure
원문 읽기
S3 Lifecycle 전략을 통한 저장 비용 최대 23배 절감 및 최적화
S3 Storage Class Automation: Stop Paying Hot Prices for Cold Data
AI 요약
Context
대다수 S3 버킷의 객체 70~80%가 90일 이상 미사용 상태임에도 S3 Standard의 고비용 구조를 유지하는 비효율 발생. 데이터 접근 패턴 분석 없이 기본 설정에 의존함으로써 불필요한 클라우드 비용이 지속적으로 누적되는 구조적 한계 존재.
Technical Solution
- 데이터 접근 빈도와 복구 허용 시간(SLA)을 기준으로 한 30/90/180일 단계별 Lifecycle Policy 설계
- S3 Inventory와 Athena 쿼리를 연동하여 객체 크기 및 마지막 수정일 기준의 정밀한 전이 대상 식별
- Intelligent-Tiering의 모니터링 비용($0.0025/1k objects)과 IA 전환 이득을 비교하여 128KB 미만 소형 객체 제외 로직 적용
- S3 Storage Lens를 활용한 Prefix별 GET/HEAD 요청률 분석으로 Hot/Cold 데이터 경로를 물리적으로 분리하여 규칙 적용
- 태그 기반 Override 시스템(lifecycle-exempt: true)을 구축하여 필수 Standard 유지 객체의 오전이 방지
- 전이 대상 클래스의 최소 보관 기간(Minimum Duration)을 고려한 Expiry 규칙 설정을 통해 조기 삭제 비용 발생 차단
실천 포인트
- 평균 객체 크기가 128KB 미만인 버킷에 Intelligent-Tiering 적용 여부 검토 - Bucket Root가 아닌 특정 Prefix 단위로 Lifecycle Rule을 적용하여 Hot 데이터의 Retrieval Fee 발생 차단 - Glacier Flexible/Deep Archive 도입 전, 복구 시 발생하는 GB당 비용과 소요 시간(SLA)에 대한 승인 프로세스 수립 - S3 Inventory를 30일 주기로 실행하여 Lifecycle Rule의 오설정 및 최소 보관 기간 위반 여부 모니터링