AI/ML 워크로드 최적화를 위한 Iceberg V4 및 Polaris 설계 전략

Context

분석 쿼리 중심의 Lakehouse 구조는 AI/ML의 광폭 테이블 업데이트 처리 효율이 낮음. 메타데이터 관리 오버헤드로 인한 커밋 지연과 저장 공간 낭비 문제 발생. 멀티 클라우드 환경의 통합 거버넌스 및 권한 관리 체계 부재.

Technical Solution

• Iceberg V4 설계의 일환으로 root JSON 파일의 선택적 사용을 검토하여 카탈로그 기반 메타데이터 상태 관리 효율화
• 단일 파일 커밋(one-file commits) 방식 도입을 통한 커밋 지연 시간 및 메타데이터 저장 공간의 획기적 절감
• AI/ML 임베딩 및 모델 스코어 업데이트를 위해 전체 행 재작성 없이 변경된 컬럼만 별도 파일로 기록하고 읽기 시점에 병합하는 효율적 컬럼 업데이트 전략
• Apache Ranger와의 연동 플러그인 설계를 통해 Hive, Spark, Trino와 통합된 단일 거버넌스 프레임워크 내에서 Polaris 보안 관리
• Azure 및 Google Cloud Storage 백엔드용 Credential Vending 기능 구현으로 멀티 클라우드 환경의 인증 편의성 제공
• Arrow Java 20.0.0의 최소 요구 사양을 JDK 17로 상향하여 Iceberg를 포함한 전체 Lakehouse 스택의 현대화 주기 동기화

Key Takeaway

분석용 데이터 저장소를 넘어 AI/ML 파이프라인을 지원하기 위해 저장 포맷의 쓰기 효율성과 멀티 클라우드 통합 거버넌스 설계가 필수적임.