피드로 돌아가기
Dev.toInfrastructure
원문 읽기
Green Field 전략 기반 Airflow 3.1 업그레이드를 통한 스케줄러 가용성 확보
We Upgraded Airflow 2.8 to 3.1 on Kubernetes. Here Is What Actually Changed
AI 요약
Context
Airflow 2.8의 2026년 4월 EOL 도래 및 보안 패치 중단 위험에 직면한 상황. Top-level import 부하로 인한 Scheduler 병목 현상과 Worker 리소스 낭비가 발생하는 기존 아키텍처의 한계점을 분석함.
Technical Solution
- 기존 클러스터의 Config Drift 및 DB Bloat 문제를 배제하기 위한 Green Field 배포 전략 채택
- DAG Processor의 독립 프로세스 분리를 통한 Scheduler의 스케줄링 안정성 및 가용성 확보
- Deferrable Operators 도입을 통한 Async Sensor 처리로 Worker Pod의 Idle 리소스 소모 제거
- Native HA Scheduler 구조 적용을 통한 고가용성 기반의 스케줄링 아키텍처 구현
- Git-sync 기반의 DAG 버전 관리와 CLI Export/Import를 활용한 데이터 마이그레이션 수행
- DNS 전환 방식을 통한 무중단 Cutover 및 즉각적인 Rollback 체계 구축
실천 포인트
1. Airflow 3 마이그레이션 전 Ruff의 AIR301/302 룰을 적용하여 Import 경로 기계적 수정
2. S3KeySensor 등 대기 시간이 긴 센서는 Deferrable 모드로 전환하여 리소스 효율 최적화
3. 변수 및 연결 정보 Export 전 메타데이터 DB의 Stale Data 제거 및 감사 수행
4. 신구 클러스터의 Parallel Run 기간을 설정하여 DAG 실행 결과의 정합성 검증