GPU 파이프라인 실패율 40% 감소를 통한 숨겨진 인프라 비용 최적화

Context

기존 CPU 기반의 Genomics 파이프라인에서 GPU 가속 환경(Parabricks 등)으로 전환하며 비용 산정 모델의 불일치 발생. 단순히 '완료된 샘플당 비용(Cost per completed sample)'만 측정함으로써 파이프라인 재실행으로 인한 낭비 비용을 인지하지 못하는 구조적 한계 노출.

Technical Solution

• Cost per attempt 메트릭 도입을 통한 실제 컴퓨팅 자원 소모량의 가시화
• Nextflow/Snakemake의 Checkpointing 메커니즘 최적화를 위한 Persistent Disk 캐시 경로 설정 강제
• Spot Instance 사용에 따른 중단율(Interruption rate)과 파이프라인 재시작 비용의 상관관계 분석
• 아카이브 데이터 복원 시 발생하는 Decompression 단계의 Disk/Memory Headroom 재설계를 통한 런타임 실패 방지
• 단순 성공률이 아닌 '시도 대비 완료율(Completion Rate)' 기반의 인프라 신뢰도 점수 체계 구축