Cloud Batch와 Cloud Run Jobs의 아키텍처 철학 차이를 이해하면 배치 작업에 적합한 서비스를 명확히 선택할 수 있다

Context

배치 처리 작업은 동일한 연산을 대량의 데이터에 반복 적용하는 작업이다. Cloud Run Jobs와 Cloud Batch 두 서비스 모두 배치 처리를 지원하지만 아키텍처 철학이 근본적으로 다르다. Cloud Run Jobs는 서버리스 추상화를 우선시하고 Cloud Batch는 인프라 제어를 강조한다.

Technical Solution

• Cloud Run Jobs와 Cloud Batch는 모두 OCI 이미지를 실행하며 클러스터 관리 부담을 제거한다
• 두 서비스 모두 Cloud Scheduler로 주기적 트리거와 Cloud Workflows로 다단계 파이프라인 구성이 가능하다
• Cloud Storage FUSE와 NFS 마운트를 지원하여 대용량 데이터 입출력을 처리한다
• Cloud Run Jobs는 "shared nothing" 아키텍처로 태스크 간 직접 통신 메커니즘이 없다
• Cloud Batch는 MPI 라이브러리와 Cloud RDMA를 지원하여 저지연 노드 간 통신이 가능하다

Impact

Cloud Run Jobs는 최대 10,000개 태스크 동시 실행이 가능하다 Cloud Batch는 VM 인스턴스당 최대 8개 GPU 부착과 NVLink 인터커넥트를 지원한다

Key Takeaway

GPU 기반 장기 실행 워크로드나 HPC 시뮬레이션에는 Cloud Batch가 필수이며 경량 병렬 처리에는 Cloud Run Jobs가 적합하다