dbt와 Snowflake 도입으로 데이터 리프레시 시간을 45분에서 3분으로 단축

Context

Excel 기반 리포팅 시스템의 수동 갱신으로 인한 45분의 긴 처리 시간과 높은 오류 발생 가능성. Version Control 부재 및 Data Quality 검증 체계 미비로 인한 데이터 신뢰도 저하 상태.

Technical Solution

• 데이터 모델링 최적화를 위한 Star Schema 설계 적용
• 2.3M 건 이상의 대규모 로우 처리를 위한 Incremental Models 구현으로 연산 효율성 증대
• dbt를 활용한 40개 이상의 Automated Data Quality Test 구축으로 무결성 확보
• GitHub Actions 기반 CI/CD 파이프라인 구축을 통한 배포 자동화 및 변경 관리 체계 마련
• Snowflake의 클라우드 데이터 웨어하우스 아키텍처를 통한 컴퓨팅 자원 분리 및 처리 속도 향상

Impact

• Data Refresh Time: 45분에서 3분으로 93.3% 단축
• Data Quality: 수동 검증에서 40개 이상의 자동화 테스트 체계로 전환
• Anomaly Detection: 기존 0%에서 12%로 이상 징후 포착률 향상

Key Takeaway

분산 처리 환경인 Snowflake와 변환 계층을 표준화하는 dbt의 조합을 통해 단순 도구 교체가 아닌 데이터 파이프라인의 가시성과 신뢰성을 확보한 사례