Deterministic Execution 도입을 통한 동시성 11배 확장 및 신뢰성 확보

Context

분산 애플리케이션의 상태 유지 및 다단계 워크플로우 조율을 위해 Workflows V1을 도입했으나, 고처리량 환경에서 확장성 및 Observability 부족과 장애 발생 시 Replay 동작의 불확실성이라는 한계 직면.

Technical Solution

• Deterministic Execution 모델 도입을 통한 실행 예측 가능성 확보 및 중복 작업 제거
• 각 단계를 Isolate된 Idempotent 구조로 설계하여 실패 시 마지막 성공 지점부터 재개하는 Replayable 아키텍처 구현
• Durable Objects를 활용한 지역 간 상태 일관성 유지 및 Workers-Queues 기반의 이벤트 유입-연산 구조 통합
• Fan-out 및 Fan-in 패턴 지원을 위한 병렬 실행 및 분기 처리 로직 최적화
• Step-level Tracing 도입을 통한 실행 이력 추적 및 프로덕션 환경의 장애 진단 효율성 증대

Impact

• Concurrent Workflow 인스턴스 상한 4,500개에서 50,000개로 약 11배 확장
• 계정당 초당 신규 워크플로우 실행 수 100회에서 300회로 3배 증가
• 워크플로우당 큐 용량 100만 개에서 200만 개로 2배 확장