Epic Games, 오픈소스 버전 관리 시스템 Lore 발표

Binary-First 설계와 On-demand Hydration 기반의 대규모 자산 관리 VCS, Lore 발표

neo2026년 6월 18일18분advanced

AI 요약

Context

Git은 Text 기반 Delta Compression 구조로 인해 테라바이트 단위의 대형 Binary Asset 처리 시 심각한 성능 저하 발생. Perforce의 독점적 지위를 대체하기 위해 대규모 바이너리 데이터의 무결성 보장과 효율적 전송을 지원하는 새로운 아키텍처 요구됨.

Technical Solution

Centralized Content-Addressed Storage를 통한 데이터 해시 기반 참조 및 Merkle Tree 구조 설계
Large File을 재사용 가능한 Chunk 단위로 분할 저장하여 데이터 중복 제거 및 전송 효율 극대화
Sparse Workspace와 On-demand Hydration 메커니즘을 통한 필요한 시점의 데이터 다운로드 구현
Immutable Revision Chain 구조를 설계하여 암호학적 무결성을 갖는 버전 이력 관리
Durable Storage 전단에 Caching Layer를 배치하여 대규모 팀의 처리량(Throughput) 확장 지원
Mutable Reference 기반의 Lightweight Branch 모델을 통해 브랜치 생성 및 전환 비용 최소화

실천 포인트

1. 대규모 바이너리 파일이 포함된 프로젝트 설계 시 전체 복제가 아닌 Sparse Checkout/Hydration 전략 검토

2. 데이터 무결성과 빠른 비교가 필수적인 시스템에서 Merkle Tree 기반의 Content-Addressing 도입 고려

3. 전송 비용 절감을 위해 파일 단위가 아닌 Chunk 단위의 중복 제거(Deduplication) 로직 적용 여부 확인

태그

#On-demand Hydration #Sparse Workspace #Content-Addressed Storage #Merkle Tree #VCS

원문 읽기