DB 없이 페타바이트급 데이터를 추적하는 Apache Iceberg의 불변 메타데이터 설계

Context

중앙 데이터베이스 기반의 메타데이터 관리는 대규모 환경에서 심각한 병목 현상 유발. 수천억 개의 파일을 추적하는 과정에서 발생하는 잠금 경합과 쓰기 지연 문제 발생. 객체 스토리지의 확장성을 활용하면서도 데이터 일관성을 보장하는 새로운 아키텍처 필요.

Technical Solution

• 모든 메타데이터를 불변 파일로 생성하고 최상위 포인터만 업데이트하는 Snapshot 기반 구조 설계
• 데이터 파일의 통계 정보(min/max/null-count)를 Manifest 파일에 저장하여 불필요한 파일 읽기를 방지하는 Pruning 전략 적용
• Manifest List를 통해 스냅샷 내 Manifest 파일들의 파티션 범위를 인덱싱하여 스캔 범위 최소화
• JSON 형식의 Table Metadata 파일로 스키마 정보와 스냅샷 이력을 버전별로 관리하는 계층 구조 구축
• Catalog를 유일한 가변 지점으로 설정하고 Compare-and-Swap(CAS) 방식으로 원자적 커밋 구현
• 읽기 작업 시 락(Lock) 없이 스냅샷 포인터를 참조하여 쓰기 작업과 독립적인 격리 수준 제공

Key Takeaway

상태 변경이 필요한 최소한의 지점을 제외한 모든 데이터를 불변(Immutable)으로 설계하여 분산 환경의 복잡성과 일관성 문제를 해결하는 아키텍처 원칙.