Shared State 제거 및 Ephemeral Cache 도입을 통한 CI 파이프라인 가용성 확보

Postmortem: How a Corrupted Node Modules Folder Caused 3-Hour Outage for Our CI Pipeline

ANKUSH CHOUDHARY JOHAL2026년 5월 5일3분intermediate

AI 요약

Context

빌드 시간 단축을 위해 /opt/ci/global_deps에 공유 node_modules 디렉토리를 마운트하여 사용하는 구조 설계. 고동시성 작업 발생 시 I/O throughput 한계 및 File Lock 충돌로 인해 의존성 파일이 손상되는 구조적 결함 내재.

Shared Mutable State 제거를 위해 Docker 컨테이너 기반의 Job별 Ephemeral Dependency Cache 구조로 전환
npm install 대신 Deterministic 설치를 보장하는 npm ci 명령어로 교체하여 의존성 일관성 확보
I/O 과부하 방지를 위해 러너당 Max Concurrent Jobs를 8개에서 4개로 하향 조정 및 Auto-scaling Pool 도입
npm ls --depth=0를 통한 Pre-install 무결성 검증 단계 추가로 손상된 디렉토리 사용 방지
0-byte 파일 감지 자동 알림 체계 구축을 통한 장애 탐지 시간 단축

실천 포인트

1. CI 환경에서 빌드 속도 최적화를 위한 공유 볼륨 사용 시 File Locking 메커니즘 검토

2. Mutable한 공유 상태보다는 컨테이너 기반의 격리된 Ephemeral 환경 구성 우선 고려

3. npm install 대신 lock 파일 기반의 npm ci 사용을 통한 결정론적 빌드 환경 구축

4. 인프라 리소스(I/O, Memory) 한계치를 고려한 적정 Concurrency Limit 설정 및 모니터링

태그