AI 기반 Data Pipeline 자동화 시도와 Logic Hallucination의 한계 분석
Can AI Replace Data Engineers? We Tried It.
Python 기반 End-to-End Data Pipeline 아키텍처 설계 및 자동화 전략
Data Pipelines Explained Simply (and How to Build Them with Python)
Shuffle 비용 최소화를 통한 PySpark Join 성능 최적화 전략
Understanding Join Strategies in PySpark (With Real-World Insights)
Lazy Evaluation에서 Eager Execution으로의 패러다임 전환을 통한 ML 파이프라인 최적화
PySpark to Pandas/scikit-learn: A Practical Migration Guide for Data Engineers Learning ML
PySpark가 분산 컴퓨팅 방식으로 수천만 행의 데이터를 처리하는 데이터 엔지니어링 도구임을 설명한다
PySpark : The Big Brain of Data Processing
뱅크샐러드 기술블로그뱅크샐러드의 실험플랫폼 분석 인프라 살펴보기
뱅크샐러드가 Python Notebook 기반 수동 분석에서 Pyspark 자동 파이프라인으로 전환해 Data Scientist 주간 2시간 리소스 절감 및 인적 오류 제거