SQL Catalog 기반 메타데이터 관리로 Small File 문제 해결한 DuckLake 1.0

DuckLake 1.0: Data Lake Format with SQL Catalog Metadata

Renato Losio2026년 5월 2일2분advanced

AI 요약

Context

Object Storage 기반의 기존 Lakehouse 포맷(Iceberg, Delta Lake, Hudi)에서 발생하는 파일 기반 메타데이터 관리의 한계 분석. 다수의 작은 파일 생성으로 인한 복잡한 조율 과정과 느린 메타데이터 연산 속도가 주요 병목 지점으로 작용.

Technical Solution

메타데이터 저장소를 Object Storage 파일에서 SQL Database로 전환하여 관리 효율성 확보
Data Inlining 기법을 통한 소규모 Insert, Update, Delete 연산의 Catalog DB 직접 처리로 Small File 생성 억제
기본 임계값 10행 설정을 통한 효율적인 데이터 인라이닝 제어
Sorted Tables 및 Bucket Partitioning 도입을 통한 고차원 컬럼 쿼리 성능 최적화
Iceberg 호환 Deletion Vector 적용으로 데이터 삭제 효율성 증대
DuckDB Extension 기반의 Reference Implementation 제공을 통한 빠른 프로토타이핑 지원

실천 포인트

1. Object Storage 내 메타데이터 파일 증가로 인한 Latency 발생 여부 검토

2. 소규모 업데이트가 빈번한 워크로드에서 Data Inlining과 같은 Catalog-level 처리 가능성 분석

3. 고차원 컬럼 필터링 성능 향상을 위한 Bucket Partitioning 적용 검토

4. Lakehouse 도입 시 메타데이터 저장소의 저장 매체(File vs Database)에 따른 Trade-off 평가

태그

#Data Inlining #Data Lakehouse #Small File Problem #SQL Catalog #Metadata Management

원문 읽기