Python·dbt 없이 Rust만으로 구현하는 Medallion 데이터 파이프라인
Elusion v8.3.0 is out!
Hugging Face가 Apache Arrow의 Parquet Content-Defined Chunking을 Xet 스토리지 레이어와 통합해 변경된 데이터 청크만 업로드/다운로드하도록 구현
Parquet Content-Defined Chunking
Hugging Face의 Xet 팀이 Parquet 파일의 Content-Defined Chunking 방식을 분석해 행 기반 Content-Defined Row Groups로 개선하여 압축된 Parquet 파일의 삭제 작업 후 데이터 중복 제거율을 89%에서 90% 이상으로 향상
Improving Parquet Dedupe on Hugging Face Hub
Hugging Face Hub이 DuckDB WASM 기반 SQL Console을 도입해 Parquet 형식의 데이터셋을 브라우저에서 직접 쿼리 가능하게 구현
Introducing the SQL Console on Datasets
Hugging Face Hub이 DuckDB와 httpfs 확장으로 50,000+ 데이터셋에 직접 SQL 쿼리 실행 기능 추가
DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub