데이터 복제 없는 통합 레이크, Microsoft Fabric과 OneLake 아키텍처 분석

Context

Synapse, ADF, Power BI 등 파편화된 개별 서비스 기반의 데이터 스택 운용. 데이터 이동을 위한 복잡한 파이프라인 구축 및 관리 부담 가중. 서비스 간 데이터 중복 저장으로 인한 저장 비용 및 일관성 문제 발생.

Technical Solution

• Delta/Parquet 포맷 기반의 단일 논리적 데이터 레이크 OneLake 설계
• 데이터 복제 없이 ADLS, S3, GCS 외부 저장소를 연결하는 Shortcuts 기능 도입
• Parquet 파일을 직접 쿼리하여 Import 및 DirectQuery 오버헤드를 제거한 Direct Lake 모드 적용
• Data Engineering부터 Power BI까지 단일 테넌트 내 통합 워크로드 구성
• Purview 기반의 통합 거버넌스와 Capacity Units 중심의 단일 컴퓨팅 과금 모델 체계
• Notebook 및 파이프라인의 형상 관리를 위한 Git 통합 환경 구축

Key Takeaway

데이터 저장소와 분석 엔진을 분리하고 단일 스토리지 레이어를 공유함으로써 데이터 중복을 원천 차단하는 'Single Source of Truth' 아키텍처의 실현.