피드로 돌아가기
Dev.toDatabase
원문 읽기
데이터 저장소별 특성 최적화를 통한 실시간 처리와 분석 성능의 분리
Where Does Your Data Live? Decoding the Modern Data Ecosystem
AI 요약
Context
실시간 트랜잭션 처리 위주의 Database 구조로는 대규모 과거 데이터 분석 시 시스템 부하 발생 및 성능 저하 불가피. 데이터의 성격에 따라 Read-Heavy한 분석 워크로드와 Write-Heavy한 운영 워크로드의 물리적 분리 필요성 대두.
Technical Solution
- ACID 특성을 통한 데이터 무결성 보장 및 atomic transaction 처리를 위한 Relational/NoSQL Database 운용
- 읽기 성능 극대화를 위해 데이터 중복을 허용하는 Denormalized Architecture 기반의 Data Warehouse 설계
- 비정형 데이터의 저렴한 저장과 ML 워크로드 지원을 위한 Data Lake 도입
- Data Lake의 비용 효율성과 Data Warehouse의 관리 기능을 통합한 Data Lakehouse 하이브리드 구조 채택
- Schema-on-write와 Schema-on-read 방식을 동시 지원하여 데이터 수집 유연성과 쿼리 신뢰성 동시 확보
- 분석 대상 데이터를 특정 목적에 맞게 세분화하여 제공하는 Data Mart 구조를 통한 쿼리 효율성 최적화
실천 포인트
- 실시간 운영 DB에 대규모 분석 쿼리를 실행하고 있는지 확인 후 Data Warehouse로 분리 검토 - 비정형 데이터 저장 비용 절감을 위해 Data Lake 도입 후 분석 단계에서만 스키마를 적용하는 전략 고려 - Data Lake와 Warehouse 간의 데이터 이동 비용이 과다할 경우 Data Lakehouse 전환 가능성 분석