Hugging Face Hub가 Xet 청크 기반 저장소를 활용한 Storage Buckets을 도입해 ML 중간 산출물의 중복 제거 저장 및 빠른 동기화 지원
Introducing Storage Buckets on the Hugging Face Hub
Kubernetes v1.35가 PersistentVolume의 node affinity를 불변에서 가변으로 변경해 스토리지 공급자의 온라인 볼륨 마이그레이션 활용 가능
Kubernetes v1.35: Mutable PersistentVolume Node Affinity (alpha)
Kubernetes v1.34가 PersistentVolumeClaim 크기 축소 기능을 GA로 승격하여 볼륨 확장 실패 자동 복구 가능
Kubernetes v1.34: Recovery From Volume Expansion Failure (GA)
Kubernetes가 Volume Group Snapshots API를 v1beta1에서 v1beta2로 전환하면서 CSI 드라이버의 ListSnapshots 미구현 환경에서도 restoreSize 필드 설정 가능
Kubernetes v1.34: Moving Volume Group Snapshots to v1beta2
Kubernetes v1.34가 CSI 드라이버의 동적 노드 볼륨 용량 업데이트 기능을 베타로 승격시켜 정적 정보로 인한 Pod 스케줄링 실패 감소
Kubernetes v1.34: Mutable CSI Node Allocatable Graduates to Beta
Kubernetes v1.34가 VolumeAttributesClass를 GA로 승격하며 CSI 드라이버를 통한 동적 볼륨 속성 변경 기능 제공
Kubernetes v1.34: VolumeAttributesClass for Volume Modification GA
Hugging Face가 Git LFS에서 Xet으로 마이그레이션하여 6개월 내 500,000개 리포지토리 20PB를 전환하고 100만 명 이상의 사용자 지원
Migrating the Hub from Git LFS to Xet
Hugging Face가 LFS 기반 스토리지를 Xet으로 교체해 6.5TB 규모 저장소 마이그레이션 시 대용량 파일 업로드 시간 13분에서 0.1초로 단축
Xet is on the Hub
Hugging Face의 Xet 팀이 Parquet 파일의 Content-Defined Chunking 방식을 분석해 행 기반 Content-Defined Row Groups로 개선하여 압축된 Parquet 파일의 삭제 작업 후 데이터 중복 제거율을 89%에서 90% 이상으로 향상
Improving Parquet Dedupe on Hugging Face Hub
Hugging Face가 XetHub를 인수하여 Git LFS 기반 Hub 저장소를 자체 최적화 저장소로 전환하여 청크 파일 및 중복 제거로 대규모 파일 업로드 효율 극대화
XetHub is joining Hugging Face!
Hugging Face Hub이 Storage Regions 기능으로 모델과 데이터셋을 지리적 위치별로 저장하게 함으로써 EU 지역의 업로드/다운로드 속도를 4~5배 향상
Introducing Storage Regions on the HF Hub