Arrow Flight 기반 데이터 전송으로 JDBC 대비 최대 100배 성능 향상

Using Apache Iceberg with Python and MPP Query Engines

Alex Merced2026년 5월 22일6분intermediate

AI 요약

Context

데이터 레이크하우스 환경에서 대규모 Iceberg 테이블 접근 시 기존 JDBC/ODBC 기반 연결의 Serialization 오버헤드로 인한 병목 발생. 단일 머신 기반의 Python 라이브러리와 분산 쿼리 엔진 간의 역할 분담 및 최적화된 데이터 전송 경로 확보가 필요한 상황.

Technical Solution

PyIceberg를 통한 Metadata-driven Pruning 구현으로 필요한 데이터 파일만 선별적으로 읽는 효율적 스캔 구조 설계
DuckDB 및 Polars의 Columnar Execution Engine과 Lazy Evaluation 모델을 적용하여 CPU 코어 활용도 극대화 및 쿼리 실행 계획 최적화
Dremio의 Apache Arrow Flight 프로토콜 도입을 통해 Iceberg Parquet부터 클라이언트까지 End-to-End Columnar 포맷 유지로 변환 비용 제거
Columnar Cloud Cache를 NVMe 드라이브에 구축하여 반복 쿼리 시 스토리지 I/O 부하를 줄이는 로컬 캐싱 전략 적용
단일 노드 기반의 PyIceberg와 분산 처리 기반의 MPP Engine(Spark, Trino)을 데이터 규모 및 워크로드 특성에 따라 분리 운영하는 하이브리드 아키텍처 구성

실천 포인트

1. 로컬 분석 및 ML 학습 데이터 추출 시 Spark 대신 PyIceberg/Polars 검토

2. 대규모 결과셋 전송이 빈번한 경우 JDBC/ODBC 대신 Arrow Flight 지원 엔진 도입

3. 반복적인 분석 쿼리 성능 향상을 위해 NVMe 기반 Columnar Cache 설정 여부 확인

4. Terabyte급 이상의 데이터 쓰기 작업 시 PyIceberg 대신 Spark 기반의 분산 처리 파이프라인 적용

태그

#MPP Engine #Apache Iceberg #Arrow Flight #Columnar Storage #Predicate Pushdown

원문 읽기