피드로 돌아가기
Deeper into Dataform 2: Other API features
Dev.toDev.to
DevOps

Dataform API 기반 Workspace 및 Git 자동화로 CI/CD 파이프라인 효율 극대화

Deeper into Dataform 2: Other API features

Ben Watson2026년 5월 24일2intermediate

Context

대규모 팀 운영 시 수동 Workspace 관리로 인한 리소스 낭비와 관리 부하 발생. Dataform UI 의존적인 개발 워크플로우로 인해 외부 도구를 통한 코드 변경 및 동기화 제약 존재.

Technical Solution

  • GitHub Actions 등 CI/CD 툴과 연동한 delete_workspace API 호출로 Merge 완료 후 불필요한 Workspace 자동 제거 구조 설계
  • 신규 브랜치 생성 시 create_workspace API를 통한 Workspace 자동 프로비저닝으로 개발 환경 설정 자동화
  • pull_git_changes API를 활용해 Git 원격 저장소의 최신 변경 사항을 Workspace로 동기화하는 자동화 로직 구현
  • push_git_changes API 기반의 프로그램 방식 코드 반영으로 UI 개입 없는 SQL 모델 및 설정 업데이트 체계 구축
  • DataformClient를 통한 API 엔드포인트 제어로 외부 스크립트 기반의 워크플로우 제어권 확보

- CI/CD 파이프라인 내에 Merge 후 Workspace 삭제 단계를 추가하여 리소스 정리 자동화 검토 - UI 외부에서 코드 생성 및 포맷팅 도구를 사용할 경우 push/pull API를 통한 자동 동기화 파이프라인 구축 - 대규모 팀의 환경 관리를 위해 Workspace 생성/삭제 라이프사이클을 자동화하는 스크립트 도입

원문 읽기