100 TiB 데이터 처리를 증명한 DuckDB 기반 분산 데이터 파이프라인 설계
From DeepSeek to Quack: When the Dream of Distributed DuckDB Started to Feel Real
Sling 기반 PostgreSQL-Iceberg REST Catalog 데이터 동기화 아키텍처
Load PostgreSQL into Apache Iceberg with Sling
AWS Lambda 기반 Playwright 활용 Dynamic Page 스크래핑 및 Parquet 파이프라인 구축
Scraping dynamic pages with Python, Playwright and AWS Lambda
SQL 카탈로그 기반 설계로 Iceberg 대비 쿼리 속도 926배 향상
DuckLake 1.0: el formato de data lake que mueve el catálogo de archivos a SQL y promete 926 más velocidad que Iceberg
Polars와 Parquet 기반 10M+ Apple Health 데이터 Lakehouse 구축
Taming the Chaos: Cleaning 10M+ Apple Health Records into a Production-Ready Parquet Lakehouse
초당 수백만 건 Ingestion을 위한 QuestDB의 3-Tier 저장소 설계
Podcast: A Java Performance Quest: Taming Unsafe Code, Embracing Idiomatic Style & Debugging the Linux Kernel
Parquet 기반 Transaction Log 도입을 통한 Data Lake의 ACID 보장
Delta Lakes: ACID Transactions, Time Travel & Delta Tables
JSON 로그 분석 최적화를 위한 Columnar 포맷 기반 Export 전략 분석
Finding a Practical Analytics Format for Structured JSON Logs
DuckDB와 Parquet 기반 3.4M 태양광 패널 공간 데이터 최적화 처리
3.4M Solar Panels
RDBMS 기반 메타데이터 관리로 Iceberg 대비 쿼리 속도 926배 향상
DuckDB uses RDBMS to attack classic 'small changes' problem in lakehouses
Python·dbt 없이 Rust만으로 구현하는 Medallion 데이터 파이프라인
Elusion v8.3.0 is out!
Hugging Face가 Apache Arrow의 Parquet Content-Defined Chunking을 Xet 스토리지 레이어와 통합해 변경된 데이터 청크만 업로드/다운로드하도록 구현
Parquet Content-Defined Chunking
Hugging Face의 Xet 팀이 Parquet 파일의 Content-Defined Chunking 방식을 분석해 행 기반 Content-Defined Row Groups로 개선하여 압축된 Parquet 파일의 삭제 작업 후 데이터 중복 제거율을 89%에서 90% 이상으로 향상
Improving Parquet Dedupe on Hugging Face Hub
Hugging Face Hub이 DuckDB WASM 기반 SQL Console을 도입해 Parquet 형식의 데이터셋을 브라우저에서 직접 쿼리 가능하게 구현
Introducing the SQL Console on Datasets
Hugging Face Hub이 DuckDB와 httpfs 확장으로 50,000+ 데이터셋에 직접 SQL 쿼리 실행 기능 추가
DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub