피드로 돌아가기
Dev.toAI/ML
원문 읽기
Cloud Run GPU Cold Start 20초 지연을 극복하는 4단계 최적화 전략
A Guide to AI Cold Starts on Cloud Run
AI 요약
Context
Serverless GPU 환경에서 모델 가중치 로드 및 엔진 초기화로 인한 최대 20초의 Cold Start 지연 발생. 단순 인프라 확장만으로는 해결 불가능한 VRAM 전송 병목과 CPU 스로틀링 문제 직면.
Technical Solution
- Startup CPU Boost 설정을 통한 Phase 3의 엔진 초기화 CPU 집약적 태스크 처리 속도 향상
- gcloud storage cp 기반의 병렬 다운로드 방식을 채택하여 Cloud Storage(FUSE) 대비 모델 전송 속도 극대화
- 4-bit Quantization 및 Safetensors 포맷 적용으로 VRAM 전송 데이터 양 감소 및 Zero-copy 로딩 구현
- vLLM의 enforce_eager=True 설정을 통해 컴파일 시간을 제거함으로써 초기 구동 시간 단축
- LoRA 어댑터 런타임 스위칭 오버헤드 제거를 위한 Standalone Checkpoint 사전 병합 전략 수립
- 모델 및 태스크별 독립 서비스 배포 구조를 통한 Workload 단위의 세밀한 스케일링 제어
실천 포인트
- 모델 크기 10GB 초과 시 Container Image 내 포함 대신 병렬 다운로드 방식 검토 - VRAM 용량 초과로 인한 System RAM 스왑 방지를 위한 양자화 모델 적용 확인 - 엔진의 포트 오픈 시점과 실제 VRAM 로드 완료 시점의 불일치 해결을 위한 Entrypoint 프리로딩 스크립트 작성 - Direct VPC Egress 및 Private Google Access 설정으로 내부 네트워크 대역폭 확보