Hugging Face가 Apache Arrow의 Parquet Content-Defined Chunking을 Xet 스토리지 레이어와 통합해 변경된 데이터 청크만 업로드/다운로드하도록 구현
Parquet Content-Defined Chunking
Hugging Face가 LFS 기반 스토리지를 Xet으로 교체해 6.5TB 규모 저장소 마이그레이션 시 대용량 파일 업로드 시간 13분에서 0.1초로 단축
Xet is on the Hub
Hugging Face가 청크 기반 업로드 방식을 블록 기반 집계 구조로 재설계해 업다운로드 속도 2~3배 향상 및 저장 공간 49% 감소
From Chunks to Blocks: Accelerating Uploads and Downloads on the Hub
Hugging Face의 Xet팀이 Content-Defined Chunking으로 파일 기반 저장소를 청크 기반으로 전환해 저장소 50% 감소 및 업로드/다운로드 시간 50% 단축
From Files to Chunks: Improving HF Storage Efficiency