Dependency Pinning과 Canary 검증을 통한 Enterprise Airflow 무중단 마이그레이션 전략
Airflow Version Upgrade for Enterprises: A Practical Blueprint for AWS, Snowflake, dbt, and Fintech Data Platforms
Fintech 환경의 Airflow 안정적 마이그레이션을 위한 플랫폼 제어 전략
Airflow Version Upgrade for Enterprises: A Practical Blueprint for AWS, Snowflake, dbt, and Fintech Data Platforms
Green Field 전략 기반 Airflow 3.1 업그레이드를 통한 스케줄러 가용성 확보
We Upgraded Airflow 2.8 to 3.1 on Kubernetes. Here Is What Actually Changed
Slack Engineering700개 이상의 SSH 파이프라인을 REST 아키텍처로 전환하여 보안 및 안정성 확보
From SSH to REST: A Security-Driven Modernization of Slack’s EMR Data Pipelines
Docker Compose 기반의 AWS-less 로컬 E2E 개발 스택 구축
Part 13 - Local Development and Docker Compose 🐳
OSM 데이터 기반 15분 도시 분석을 위한 Spark-dbt 데이터 파이프라인 구축
Data pipeline around 15 minute city
22.5만 개 중앙은행 문장 분류를 위한 맞춤형 NLP 파이프라인 구축
Building an NLP Pipeline to Classify 225,000 Central Bank Sentences
데이터 웨어하우스 오염 방지, Load 전 단계 Quality Gate 도입 전략
How I stopped bad data from reaching my warehouse using a single Airflow task
정적 Wikipedia 데이터에 Batch Embedding 적용으로 RAG 비용과 지연시간을 대폭 절감함
I Built a RAG System to Chat With Newton's Entire Wikipedia
Snowflake Cortex Code가 파일 기반 에이전트 대신 Snowflake 환경의 실시간 상태(스키마, 권한, 태그, 데이터 계보)에 직접 접근하도록 변경해 데이터 엔지니어의 워크플로우 전체를 단일 컨텍스트에서 압축
The data engineer's Cortex Code cheat sheet
리디 추천 시스템, MLOps Platform에 올라탈 결심
리디가 AWS SageMaker를 도입해 모델 학습·추론 파이프라인 기술 스택을 간소화하고 학습-추론 분리를 통해 운영 자동화 실현
컬리 기술블로그서버리스에서 쿠버네티스로 - Airflow 운영 경험기
컬리가 AWS Managed Workflows/GCP Composer에서 Kubernetes 기반 Airflow로 이관하며 CPU 과부하, 워커 OOM, 태스크 로그 손실 등 3가지 운영 이슈를 해결하고 비용 50% 절감
뱅크샐러드 기술블로그데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인
뱅크샐러드가 datapipe 프레임워크를 자체 개발해 데이터 분석가가 직접 데이터 파이프라인을 배포·운영하도록 전환하며 연간 데이터 엔지니어 외 직군의 파이프라인 개발 사례 600건 달성
올리브영 테크블로그올리브영 데이터 엔지니어링
올리브영이 IDC 기반 ETL 시스템에서 GCP + Airflow + Spark 기반 클라우드 플랫폼으로 전환해 다양한 데이터 원천 수용 및 로그 수집 기능 추가
뱅크샐러드 기술블로그뱅크샐러드 Data Discovery Platform의 시작
뱅크샐러드 Data Engineering팀이 LinkedIn Datahub를 도입해 분석 환경의 메타데이터 검색·조회 문제를 중앙집중식 플랫폼으로 해결