Durable Execution 도입을 통한 Python 워크플로우 Crash-safe 구조 구현

Context

Celery의 At-least-once delivery 특성으로 인한 다단계 워크플로우의 중복 실행 문제 발생. 개별 태스크 단위의 보장만으로는 상태 유지(Stateful)가 필요한 복잡한 비즈니스 로직의 원자성 확보에 한계 노출.

Technical Solution

• Step Output의 Atomic Checkpointing을 통한 상태 저장 및 트랜잭션 보장
• Failure Point 기반의 Replay 메커니즘을 통한 기완료 단계 Skip 및 실패 지점부터 재개
• 기존 RDBMS(PostgreSQL, MySQL 등)를 상태 저장소로 활용하여 별도 서버 클러스터 없는 인프라 구축
• Saga Pattern 적용을 통한 하위 단계 실패 시 보상 트랜잭션(Compensating Function)의 자동 실행
• Pydantic 모델 기반의 Type Safety 확보 및 In-memory Crash Simulation 테스트 환경 제공
• Signals 기능을 통한 Worker 슬롯 점유 없는 외부 이벤트 기반 Human-in-the-loop 흐름 제어