데이터 웨어하우스 오염 방지, Load 전 단계 Quality Gate 도입 전략

Context

데이터 적재 후 검증하는 기존 방식의 구조적 한계. 잘못된 데이터가 Warehouse에 이미 진입한 뒤에야 장애를 발견하는 사후 대응 구조. 다운스트림 모델 전체의 데이터 무결성 훼손 및 대시보드 오류 발생.

Technical Solution

• Extract와 Load 단계 사이에 데이터 품질을 검증하는 Quality Gate 태스크 배치
• 별도의 규칙 정의 없이 결정론적 샘플링 기반으로 18가지 품질 지표를 자동 분석하는 구조
• 분석 결과에 따라 PASS, WARN, BLOCK 세 가지 상태로 파이프라인 흐름 제어
• BLOCK 상태 발생 시 DataQualityError를 발생시켜 즉시 DAG 실행을 중단하는 차단 전략
• 데이터 소스별 특성을 반영하여 Null 비율 및 타입 불일치 허용 범위를 다르게 설정하는 가변 임계치 설계
• 첫 실행 시의 데이터 베이스라인을 기준으로 점진적인 데이터 드리프트(Drift)를 감지하는 모니터링 방식

Impact

• 검증 응답 시간 10ms 미만 달성
• 무료 티어 기준 월 500K 행까지 처리 가능

Key Takeaway

명시적인 규칙 기반 테스트를 넘어 베이스라인 대비 변화량을 감지하는 설계가 예측 불가능한 데이터 오염을 방지하는 핵심임.