피드로 돌아가기
Dev.toInfrastructure
원문 읽기
Direct Lake 최적화를 위한 OneLake Shortcut 기반 데이터 가상화 전략
Fabric OneLake shortcuts vs ADLS Gen2 mounts: what actually works in production
AI 요약
Context
Microsoft Fabric 도입 후 기존 ADLS Gen2 데이터 접근을 위해 Shortcut과 Mount 방식 사이의 선택 필요. Synapse 시절의 Mount 방식은 SQL Endpoint 접근 불가 및 서비스 주체 기반의 과도한 권한 부여라는 보안 한계를 가짐.
Technical Solution
- Direct Lake 모드 활성화를 통한 Power BI 쿼리 지연 시간 제거를 위해 Shortcut 기반 Lakehouse 테이블 구조 채택
- POSIX ACL 및 RBAC 모델을 그대로 상속하는 Shortcut 구조를 통해 데이터 접근 제어의 정밀도 향상 및 보안 Blast Radius 최소화
- Metadata-only 참조 방식을 통한 40TB 규모 대용량 데이터셋의 즉각적인 쿼리 가능 상태 구현
- SQL Analytics Endpoint를 통한 cross-query 지원으로 노트북 외부에서도 데이터 접근이 가능한 구조 설계
- Region 간 데이터 전송 비용 및 지연 시간 방지를 위해 Fabric Capacity와 ADLS 계정의 동일 리전 배치 원칙 수립
- SAS 토큰 만료로 인한 런타임 오류 방지를 위해 Managed Identity 및 Workspace Identity 기반의 Connection 객체 사용
실천 포인트
1. Direct Lake 및 SQL Endpoint 활용 여부 확인 후 Shortcut 우선 검토
2. Fabric Capacity와 ADLS Gen2의 리전 일치 여부 검증
3. SAS 토큰 대신 Managed Identity 기반 연결 설정 적용
4. Hive-partitioned 데이터의 경우 Delta 형식 변환 후 Shortcut 연결 권장
5. 일회성 ETL 작업에 한해서만 Mount 방식 제한적 사용