Rust 기반 Content-Addressed Storage로 구현한 대규모 Binary VCS Lore 공개

Epic Games Open-Sourced Lore — A Version Control System Built for Massive Game Assets

Md Jamilur Rahman2026년 6월 18일5분advanced

AI 요약

Context

텍스트 중심의 Git과 고비용 폐쇄형 Perforce 사이의 기술적 공백 존재. 수백 MB 단위의 4K 텍스처 및 3D 모델 등 거대 Binary Asset 관리 시 Git LFS의 구조적 한계와 Perforce의 비용 부담이 병목 지점으로 작용.

Technical Solution

Content-Addressed Storage 도입을 통한 데이터 중복 제거 및 무결성 검증 체계 구축
Merkle Tree 구조의 Immutable Revision Chain 설계로 Binary-heavy 워크플로우 내 이력 추적 최적화
대용량 파일을 가변 Chunk 단위로 분할 저장하여 변경된 부분만 기록하는 Chunked Storage 적용
On-Demand Hydration 메커니즘을 통한 필요한 파일만 선택적으로 다운로드하는 Sparse Checkout 구현
Centralized Server 구조에 Intelligent Caching 계층을 추가하여 전역 트래픽 분산 및 처리량 확장
Rust 언어 채택을 통한 메모리 안전성 확보 및 고성능 VCS 엔진 구현

실천 포인트

- 대규모 Binary 데이터 관리 시 파일 전체가 아닌 Chunk 단위 저장 전략 검토 - 전체 데이터셋 다운로드 대신 On-Demand Fetching 구조 도입 가능성 분석 - 데이터 무결성 보장을 위해 Content Hash 기반의 주소 지정 방식 고려 - 전용 서버와 캐시 계층 분리를 통한 중앙 집중형 아키텍처의 확장성 확보

태그

#Sparse-Checkout #Rust #Content-Addressed Storage #Merkle Tree #VCS

원문 읽기