Dataform API 기반 DAG 자동화 및 CI/CD 파이프라인 구축

Deeper into Dataform 1: Exploring the API

Ben Watson2026년 5월 24일3분intermediate

AI 요약

Context

Dataform UI 기반의 수동 실행 환경으로 인한 운영 효율성 저하 및 자동화 제약 발생. 코드 변경 사항의 즉각적인 반영과 배포 프로세스의 제어권 확보를 위한 외부 트리거 메커니즘 필요.

CompilationResult와 WorkflowInvocation 객체의 분리를 통한 정적 분석과 동적 실행의 디커플링 설계
CompilationResult를 활용한 Workspace 내 DAG 상태의 스냅샷 생성 및 config 블록 추출 구조 구현
생성된 CompilationResult UUID를 WorkflowInvocation에 주입하여 특정 시점의 DAG 실행을 보장하는 제어 흐름 구축
BigQuery Job ID와 WorkflowInvocation의 매핑을 통한 개별 Job 단위의 실행 결과 추적 및 모니터링 체계 마련
UI 의존성을 제거한 API 중심의 워크플로우 설계를 통해 외부 CI/CD 툴과의 통합 기반 마련

실천 포인트

1. DAG 컴파일 결과(CompilationResult)를 먼저 생성하여 실행 시점의 코드 일관성 확보 여부 확인

2. WorkflowInvocation을 통해 BigQuery Job ID와 매핑하여 개별 쿼리 성능 및 오류 분석 가능성 검토

3. GitHub Actions 등 외부 오케스트레이터와 Dataform API를 연동한 자동 배포 파이프라인 설계 고려

태그