피드로 돌아가기
The RegisterDatabase
원문 읽기
Apache Iceberg 기반 Dremio 인수로 데이터 파편화 해결 및 Agentic AI 기반 마련
SAP dives deeper into Iceberg with Dremio acquisition
AI 요약
Context
SAP 및 비 SAP 데이터 간의 분절된 저장 구조로 인한 데이터 파편화 발생. 기존 데이터 이동 및 포맷 변환 과정에서 발생하는 높은 비용과 성능 저하를 해결해야 하는 과제 직면.
Technical Solution
- Apache Iceberg를 Native 포맷으로 채택하여 데이터 이동 없는 Zero-copy 분석 환경 구축
- Dremio 인수를 통한 Serverless 및 Elastic 아키텍처 도입으로 고정 용량 제한 없는 유연한 리소스 확장 실현
- Apache Polaris 및 Iceberg REST Catalog API 기반의 Open Catalog 구축을 통한 전사 데이터 발견 및 시맨틱 레이어 구현
- 단일 액세스 포인트 설계를 통한 데이터 계보(Data Lineage)와 접근 권한 및 비즈니스 컨텍스트 통합 관리
- Apache Iceberg 표준 포맷 적용을 통한 이기종 데이터 플랫폼 간의 상호 운용성 극대화
실천 포인트
- 데이터 이동 비용 최소화를 위한 Open Table Format(Iceberg, Delta Lake 등) 도입 검토 - 정적 프로비저닝 대신 Serverless 기반의 탄력적 쿼리 엔진 채택을 통한 TCO 절감 방안 모색 - 데이터 카탈로그 표준화를 통한 데이터 거버넌스 및 리니지 추적 체계 구축