피드로 돌아가기
InfoQDatabase
원문 읽기
Governed Data Mesh 도입으로 warehouse 비용 40% 절감 및 속도 25% 개선
Neobank Monzo Builds Governed Data Mesh Across 100 Teams and 12000 dbt Models
AI 요약
Context
100개 이상의 독립 팀이 12,000개 이상의 dbt 모델을 운용하며 발생하는 분산 소유권 관리의 한계 직면. AI 보조 코딩 확산에 따른 데이터 일관성 저하 및 쿼리 중복으로 인한 인프라 비용 증가 문제 발생.
Technical Solution
- Landing, Normalized, Logical, Presentation의 4단계 계층 구조 설계를 통한 데이터 흐름 정형화
- 데이터 의존성 관리를 위해 데이터 공유 지점을 명시적으로 선언한 Interface Model 도입
- Object Definition 기반의 SQL 및 YAML 자동 생성 도구인 Modelgen 구축을 통한 일관성 확보
- CI 단계에서 Unique Key, Freshness Test, Incremental Load 설정을 강제하는 Automated Guardrails 적용
- 수동 리뷰를 배제하고 구조 및 명명 규칙을 자동 검증하는 CI-backed Data Standards 체계 수립
Impact
- Warehouse 운영 비용 약 40% 절감
- 데이터 Landing 시간 약 25% 단축
Key Takeaway
데이터 인터페이스를 First-class Code로 취급하고 이를 CI 파이프라인에 결합함으로써, 분산된 팀의 자율성을 유지하면서도 전사적 데이터 거버넌스를 달성하는 설계 전략
실천 포인트
- 데이터 모델링 계층을 정의하여 원천 데이터부터 최종 소비층까지의 변환 단계 분리 - 팀 간 데이터 공유 시 명시적인 Interface Model을 정의하고 버전 관리 수행 - dbt 모델 생성 시 Unique Key 및 Incremental 전략 설정을 CI 단계에서 필수 검증 - 반복적인 SQL/YAML 패턴을 자동화하는 CLI 도구 도입을 통한 휴먼 에러 제거