eBPF 기반 GPU 트레이싱으로 Agent 오버헤드 제거 및 CPU 부하 2% 미만 달성

Context

전통적인 Agent-on-every-host 모델은 수천 대의 호스트 규모에서 RAM과 CPU 자원을 과도하게 점유하는 구조적 한계 노출. 특히 AI 워크로드 환경에서 다수의 관찰성 도구 중복 실행으로 인한 인프라 비용 증가 및 보안 공격 표면 확대 문제 발생.

Technical Solution

• Kernel-level instrumentation 도입을 통한 개별 애플리케이션 SDK 및 Sidecar 의존성 제거
• eBPF 프로그램을 kernel에 로드하여 libcudart.so 및 sched_switch tracepoint를 직접 캡처하는 구조 설계
• Kernel ringbuffer를 통해 데이터를 읽어오는 단일 Go binary 프로세스 구성으로 유저스페이스 오버헤드 최소화
• Local SQLite DB를 활용한 이벤트 캡처로 네트워크 전송 부하를 분산하고 데이터 정합성 확보
• Kernel Verifier를 통한 런타임 안정성 검증으로 시스템 크래시 위험을 원천 차단하는 아키텍처 채택
• Application 수정 없이 모든 CUDA 워크로드를 통합 모니터링하는 Zero-touch 관찰성 구현

Impact

• CPU 오버헤드: PyTorch 및 vLLM 워크로드 기준 2% 미만으로 유지
• 메모리 점유율: 수백 MB 단위의 기존 Agent 대비 수십 MB 수준으로 절감
• 자원 효율: 2,000대 호스트 기준 최대 1TB RAM 및 100 Core의 낭비 자원 회수 가능

Key Takeaway

인프라 규모가 확장될수록 개별 프로세스 기반의 에이전트 모델보다 커널 수준의 통합 관찰성 모델이 비용 및 성능 면에서 압도적 우위를 가짐. 애플리케이션 계층의 APM과 커널 계층의 eBPF 트레이싱을 상호 보완적으로 배치하는 계층적 관찰 전략 필요.