피드로 돌아가기
InfoQDatabase
원문 읽기
데이터 정규화 및 Downsampling을 통한 스토리지 42% 절감 및 720배 행 감소
Article: Time-Series Storage: Design Choices That Shape Cost and Performance
AI 요약
Context
시계열 데이터의 특성상 반복되는 Dimension 문자열이 저장 공간의 중복을 초래함. Flat Schema 기반의 저장 방식은 데이터 규모 증가에 따라 스토리지 비용과 인덱싱 오버헤드가 선형적으로 증가하는 한계를 가짐.
Technical Solution
- Dimension 정보를 별도의 Metadata Table로 분리하고 Compact ID로 참조하는 Normalized Schema 설계
- 고카디널리티 필드를 Identity에서 제외하여 정규화 효율 저하 및 인덱스 팽창 방지
- PostgreSQL jsonb를 활용한 유연한 스키마 설계로 Tag 변경에 따른 Schema Migration 비용 제거
- Time Partitioning 도입을 통한 O(1) 데이터 삭제 및 Partition Pruning 구현
- 해상도별 Resolution Ladder 구축을 통한 데이터 Downsampling 및 전처리된 Rollup 데이터 제공
- 읽기 증폭 제어를 위한 짧은 TTL 기반의 캐싱 및 Pre-aggregated 결과 서빙 구조 채택
실천 포인트
- Dimension 문자열 반복 여부를 확인하여 Series ID 기반의 정규화 적용 검토 - Request ID 등 High-cardinality 필드가 Series Identity에 포함되었는지 확인 - 데이터 보존 주기(Retention)에 따른 단계적 Downsampling 정책 수립 - 대시보드 쿼리 부하 감소를 위해 Raw 데이터가 아닌 Pre-aggregated Rollup 테이블 활용