Python Multiprocessing Pickle 에러 해결 및 최적화 전략

Context

CPU 집약적인 이미지 처리 작업을 위해 Python multiprocessing 모듈 도입. 커스텀 클래스 객체 전달 시 Pickle 직렬화 실패로 인한 런타임 크래시 발생. GIL 제약으로 인해 Threading 대체 시 성능 저하 문제 직면.

Technical Solution

• 프로세스 간 데이터 전송 시 발생하는 Pickle 직렬화 의존성 확인
• initializer 인자를 활용하여 각 Worker 프로세스 내에서 독립적으로 객체를 생성하는 초기화 패턴 적용
• 글로벌 변수 설정을 통해 Worker 내 객체 재사용 구조 설계로 직렬화 오버헤드 제거
• functools.partial을 이용한 함수 바인딩 방식으로 단순 객체 전달 구조 구현
• getstate 및 setstate 메서드 정의를 통한 비직렬화 대상 필드 제어 전략 검토

Key Takeaway

분산 프로세스 환경에서는 객체의 상태 전달보다 프로세스별 독립적 자원 초기화 방식이 안정성과 성능 면에서 유리함.