#parquet 아티클 모음

Dev.to

Parquet 기반 Transaction Log 구조를 통한 ACID 보장 및 Direct Lake 성능 최적화

Delta Tables in Microsoft Fabric: What They Are and How They're Structured

Databaseintermediate16 분 소요2026년 6월 28일

Dev.to

Immutable 데이터의 Object Storage 이전으로 DB 비용 및 관리 부하 제거

Less Database, More Files

Databaseintermediate41 분 소요2026년 6월 24일

Dev.to

Zstd Frame 및 Jump Table 도입을 통한 Cloud Egress 비용 99.9% 절감

Using Zstd Frames to Egress Partial Parquet Files

Infrastructureadvanced31 분 소요2026년 6월 24일

Dev.to

ClickHouse-local 도입을 통한 CSV 분석의 SQL 기반 고속 처리 전환

I stopped writing throwaway scripts for messy CSVs and just use SQL now

Databaseintermediate9 분 소요2026년 6월 20일

Dev.to

Parser 최적화만으로 배치 작업 시간 8시간에서 47분으로 단축

Your pipeline isn't slow. Your parser is.

Infrastructureintermediate27 분 소요2026년 6월 17일

Dev.to

Sling을 통한 PostgreSQL-S3 간 Parquet 기반 고효율 데이터 파이프라인 구축

Effortless Data Migration: How to Export from PostgreSQL and Load into S3 as Parquet with Sling

Databaseintermediate26 분 소요2026년 6월 17일

Dev.to

LGD Code 기반 정규화로 인도 인구 데이터 무결성 100% 확보

I cleaned India's Census 2011 data so you never have to

Databaseintermediate8 분 소요2026년 6월 16일

Dev.to

Parquet 도입 및 Airflow 오케스트레이션을 통한 82.5% 저장 효율 개선 ETL 파이프라인 구축

Building My First End-to-End ETL Pipeline with Airflow, BigQuery, and Docker

Databasebeginner6 분 소요2026년 6월 13일

Dev.to

Sling와 DuckLake를 활용한 ACID 기반 Transactional Data Lake 구축

Extract data from Databases into DuckLake

Databaseintermediate11 분 소요2026년 6월 8일

Dev.to

100 TiB 데이터 처리를 증명한 DuckDB 기반 분산 데이터 파이프라인 설계

From DeepSeek to Quack: When the Dream of Distributed DuckDB Started to Feel Real

Databaseadvanced27 분 소요2026년 5월 19일

Dev.to

Sling 기반 PostgreSQL-Iceberg REST Catalog 데이터 동기화 아키텍처

Load PostgreSQL into Apache Iceberg with Sling

Databaseintermediate29 분 소요2026년 5월 18일

Dev.to

AWS Lambda 기반 Playwright 활용 Dynamic Page 스크래핑 및 Parquet 파이프라인 구축

Scraping dynamic pages with Python, Playwright and AWS Lambda

Infrastructureintermediate14 분 소요2026년 5월 17일

Dev.to

SQL 카탈로그 기반 설계로 Iceberg 대비 쿼리 속도 926배 향상

DuckLake 1.0: el formato de data lake que mueve el catálogo de archivos a SQL y promete 926 más velocidad que Iceberg

Databaseintermediate33 분 소요2026년 5월 7일

Dev.to

Polars와 Parquet 기반 10M+ Apple Health 데이터 Lakehouse 구축

Taming the Chaos: Cleaning 10M+ Apple Health Records into a Production-Ready Parquet Lakehouse

Databaseintermediate12 분 소요2026년 5월 2일

InfoQ

초당 수백만 건 Ingestion을 위한 QuestDB의 3-Tier 저장소 설계

Podcast: A Java Performance Quest: Taming Unsafe Code, Embracing Idiomatic Style & Debugging the Linux Kernel

Databaseintermediate68 분 소요2026년 4월 27일

Dev.to

Parquet 기반 Transaction Log 도입을 통한 Data Lake의 ACID 보장

Delta Lakes: ACID Transactions, Time Travel & Delta Tables

Databaseintermediate23 분 소요2026년 4월 26일

Dev.to

JSON 로그 분석 최적화를 위한 Columnar 포맷 기반 Export 전략 분석

Finding a Practical Analytics Format for Structured JSON Logs

Databaseintermediate26 분 소요2026년 4월 23일

Hacker News

DuckDB와 Parquet 기반 3.4M 태양광 패널 공간 데이터 최적화 처리

3.4M Solar Panels

Databaseintermediate40 분 소요2026년 4월 22일

The Register

RDBMS 기반 메타데이터 관리로 Iceberg 대비 쿼리 속도 926배 향상

DuckDB uses RDBMS to attack classic 'small changes' problem in lakehouses

Databaseadvanced9 분 소요2026년 4월 16일

Dev.to

Python·dbt 없이 Rust만으로 구현하는 Medallion 데이터 파이프라인

Elusion v8.3.0 is out!

Databaseintermediate1 분 소요2026년 4월 5일