피드로 돌아가기
GeekNewsInfrastructure
원문 읽기
Backblaze가 OneDrive와 Dropbox 폴더 백업을 중단함
Cloud Sync 스텁 파일 처리 실패 및 무제한 모델의 비용 구조적 한계
AI 요약
Context
로컬 파일 시스템과 Cloud Storage 간의 동기화 모델에서 발생하는 가상 스텁 파일 처리 이슈 분석. 무제한 스토리지 제공 모델이 데이터 증가 및 인프라 비용 상승으로 인해 지속 불가능한 구조적 한계에 직면한 상황.
Technical Solution
- File-on-Demand 기능으로 인한 로컬 디스크 공간 부족 및 백업 클라이언트의 전체 파일 요청 시 발생하는 리소스 충돌 해결 필요
- OAuth 기반의 Cloud Storage 직접 접근 방식을 통한 로컬 스텁 파일 의존성 제거 설계 제안
- Git pack 파일과 같은 대형 압축 파일의 증분 백업 부담을 줄이기 위한 파일 시스템 수준의 단순 복사 로직 적용
- 객체 수 폭증 문제를 방지하기 위한 특정 디렉토리(.git 등)의 기본 제외 처리 및 사용자 제어 옵션 제공
- 데이터 일관성 확보를 위한 변경 감지 후 대기 시간을 갖는 지능형 백업 스케줄링 로직 도입
실천 포인트
1. Cloud Sync 폴더 백업 시 로컬에 실제 데이터가 존재하는지 확인하는 스텁 파일 검증 로직 구현
2. 대량의 작은 파일이 포함된 VCS 폴더 처리 시 객체 수 기반의 Rate Limit 및 스토리지 비용 검토
3. 백업 대상 제외 리스트를 하드코딩하지 않고 사용자가 구성 가능한 Configuration 파일 형태로 제공
4. 증분 백업 설계 시 대형 압축 파일의 부분 변경이 전체 파일 재전송으로 이어지는 병목 지점 분석