ZFS Copy-on-Write 기반 단일 Primitive로 40TB 데이터 복제 시간 단축

Context

백업, 복제, 버전 관리를 위한 개별 도구 사용으로 인한 아키텍처 복잡성 및 대규모 데이터 처리 시 발생하는 성능 병목 현상 발생. 특히 테라바이트 단위의 상태 데이터 관리 시 tarball이나 rsync 기반의 파일 레벨 접근 방식으로는 백업 완료 시간 확보 불가.

Technical Solution

• Copy-on-Write(CoW) 메커니즘을 파일시스템 계층에 직접 통합하여 스냅샷 생성 시 데이터 복사 없이 블록 참조만 수행하는 구조 설계
• 스냅샷을 Immutable Commit으로 취급하여 변경된 블록만 전송하는 Block-level Incremental Stream 방식의 복제 아키텍처 구현
• Clone 기능을 통한 Copy-on-Write 시맨틱 적용으로 실제 데이터 변경 전까지 추가 디스크 공간 소비를 제거한 브랜치 구조 설계
• Snapshot, Send, Receive, Clone 등 소수의 직교적(Orthogonal) Primitive를 조합하여 백업과 복제 기능을 단일 모델로 통합
• 데이터셋의 상태를 스트림으로 처리함으로써 네트워크 전송 효율을 극대화하고 복제 레이어의 오버헤드 최소화