Linux 기반 시스템 제어를 통한 Data Pipeline 안정성 및 효율성 극대화

Context

Python Pandas 위주의 데이터 처리 방식이 유발하는 MemoryError 및 런타임 리소스 부족 문제 발생. 로컬 개발 환경과 Production 서버 간의 환경 불일치로 인한 배포 안정성 저하 및 원격 제어 시 세션 단절에 따른 작업 손실 위험 존재.

Technical Solution

• cron 기반의 Background Scheduling 도입을 통한 데이터 Ingestion 자동화 및 Pipeline 운영 체계 구축
• sed, awk, grep 등 Linux Native Tool을 활용한 Disk Streaming 기반의 데이터 전처리를 통해 RAM 사용량 최소화 및 대용량 파일 처리 속도 개선
• Docker 컨테이너 기반의 환경 캡슐화를 통한 Dependency 일관성 확보 및 Linux Permission 제어를 통한 Volume 마운트 안정화
• SSH와 tmux 기반의 Terminal Multiplexing 설계를 통해 네트워크 단절과 무관한 Long-running Job의 연속성 보장
• Bash Shell의 파일 처리 능력을 우선 활용하여 Python 런타임 진입 전 데이터 크기를 최적화하는 Pre-filtering 전략 적용