INFORMATION_SCHEMA 스냅샷 기반의 Data Warehouse Schema Drift 탐지 및 방어 전략

Context

Data Warehouse 내 Schema 변경은 하위 파이프라인의 Hard Failure 또는 데이터 오염을 유발하는 Silent Failure를 야기함. 특히 Implicit Casting으로 인한 데이터 왜곡은 단순 에러 팝업 없이 결과값만 변경시키기에 조기 탐지가 매우 어려움.

Technical Solution

• INFORMATION_SCHEMA.COLUMNS 기반의 정기적 스냅샷 생성 및 이전 상태와의 Diff 분석을 통한 변경분 탐지
• Column 추가(Low Risk)와 제거/이름 변경(Critical Risk)을 구분하여 알림 우선순위를 차등 적용하는 필터링 로직 구현
• Snowflake, Databricks, PostgreSQL 등 각 엔진별 Metadata Catalog 쿼리를 통한 벤더 독립적인 모니터링 구조 설계
• 단순 구조 변경 탐지를 넘어 Audit Log(Account Usage, Event Trigger)를 결합한 변경 주체 및 DDL 쿼리 추적
• Delta Lake 및 Iceberg의 Time-travel 기능을 활용한 Schema Versioning 기반의 무중단 복구 체계 구축
• Schema Monitoring(컨테이너 구조)과 Data Quality Monitoring(데이터 내용)을 분리하여 장애 전파 경로를 차단하는 다중 방어 계층 설계