eBPF 기반 Causal Chain 분석으로 GPU 병목 진단 시간 60초 단축

Context

기존 DCGM 및 nvidia-smi 기반 모니터링은 커널 스케줄링 여부만 판단하여 실제 연산 효율을 반영하지 못하는 한계 존재. GPU Utilization이 95% 이상임에도 호스트 CPU의 리소스 경합으로 인해 실제 학습 속도가 3배 저하되는 가시성 공백 발생.

Technical Solution

• CUDA API와 Linux Kernel 이벤트를 동시에 캡처하는 eBPF 기반 트레이싱 아키텍처 설계
• Host-side CPU scheduling, Memory pressure, Disk I/O 등의 커널 이벤트를 GPU Latency와 연결하는 Causal Chain 구성
• K8s DaemonSet 형태로 배포하여 코드 수정이나 SDK 설치 없이 시스템 전체 가시성 확보
• Off-CPU 시간과 Context Switch 횟수를 추적하여 데이터 로딩 파이프라인의 병목 지점 정밀 식별
• <2%의 낮은 오버헤드로 운영 환경에서 상시 실행 가능한 프로덕션 안전 설계

Impact

• GPU 학습 파이프라인 Root Cause 분석 시간 60초 이내로 단축
• Training Process의 Off-CPU 비중 51.7% 식별 및 최대 609ms의 Scheduling Stall 발견
• cudaStreamSync p99 지표의 1,028배(7µs → 7.2ms) 폭증 확인을 통한 병목 증명
• CUDA operation throughput 47% 하락 원인이 모니터링 에이전트와의 CPU 경합임을 규명

Key Takeaway

GPU 가시성은 단순 Utilization 지표가 아닌 Host-to-Device 간의 데이터 흐름과 커널 스케줄링의 상관관계 분석이 핵심임.