Lazy Evaluation에서 Eager Execution으로의 패러다임 전환을 통한 ML 파이프라인 최적화

Context

PySpark 기반의 Distributed Computing 환경에서 Pandas 및 scikit-learn 중심의 In-memory ML 환경으로 전환 시 발생하는 실행 모델의 괴리 분석. 대규모 데이터 처리용 Lazy Evaluation 구조가 소규모 ML 학습 세트에서는 오히려 Cluster Overhead를 유발하는 병목 지점으로 작용.

Technical Solution

• Logical Execution Plan을 생성하는 Lazy Evaluation 방식에서 즉시 연산되는 Eager Execution 구조로의 전환을 통한 디버깅 효율성 확보
• toPandas() 호출 시 발생하는 모든 Executor 데이터의 Driver Node 집중 현상을 제어하여 Memory Constraint 해결
• spark.sql.execution.arrow.pyspark.enabled 설정을 통한 Arrow-based Transfer 적용으로 데이터 전송 속도 최적화
• PySpark MLlib의 단일 Vector Column 기반 Feature 표현 방식을 scikit-learn의 Native Column 구조로 변경하여 Feature Engineering 유연성 확보
• withColumn 형태의 불변성 유지 패턴을 Pandas의 assign() 메서드로 대체하여 Method Chaining 구조 설계