로컬 디스크 제로, Manticore Search의 S3 Direct-to-Cloud 백업

Context

로컬 저장소 기반 백업은 데이터 증가 시 디스크 공간 부족 문제를 야기함. 로컬 백업 후 클라우드로 전송하는 방식은 작업 시간이 두 배로 소요됨. 수동 전송 과정에서 스크립트 복잡도와 오류 처리 부담이 증가함.

Technical Solution

• 중간 파일 생성 없이 Manticore에서 S3로 데이터를 직접 전송하는 스트리밍 아키텍처 설계
• 5MB 초과 대용량 파일에 대해 병렬 업로드를 수행하는 자동 Multipart Upload 방식 적용
• 전송 시간 단축과 저장 비용 절감을 위한 zstd 압축 옵션 제공
• AWS SDK for PHP 기반의 StorageInterface 추상화 계층을 통해 S3 호환 스토리지 확장성 확보
• Manifest 파일 기반의 복구 프로세스를 구축하여 s3:ListBucket 권한 없이도 특정 백업본 복원 가능 구조 구현
• SSE-S3 암호화를 기본 활성화하여 클라우드 저장 데이터의 보안성 강화

Impact

• 5MB 초과 파일에 대한 자동 Multipart Upload 적용으로 대규모 데이터셋 전송 신뢰성 확보

Key Takeaway

인프라 자원 제약을 해결하기 위해 로컬 스테이징 단계를 제거하고 네트워크 스트림으로 직접 연결하는 데이터 파이프라인 설계의 효율성 확인.