eBPF 기반 208B 이벤트 추출 및 통계적 ML-Lite를 통한 ARM 엣지 이상 탐지

I'm not an ML engineer. I built one anyway.

Mohamed Zrouga2026년 5월 25일7분advanced

AI 요약

Context

기존 Cloud-native Observability 툴의 과도한 RAM/CPU 점유로 인해 ARM 엣지 디바이스 환경에서 실행 불가능한 제약 발생. GPU 의존성 및 블랙박스 ML 모델의 낮은 설명력으로 인한 운영 효율성 저하 문제 직면.

커널 레벨의 eBPF TC/XDP 훅을 통해 Full Payload 복사 없이 208 bytes의 메타데이터만 추출하는 Ring Buffer 구조 설계
30초 단위 윈도우 기반의 Feature Vector([packet_rate, dns_rate, tls_rate, syn_rate, entropy, unusual_ports]) 압축으로 연산 부하 최소화
Median 및 MAD(Median Absolute Deviation)를 활용해 이상치에 강건한 통계적 Baseline 구축
EWMA(Exponentially Weighted Moving Average) 적용으로 최신 데이터 가중치를 반영한 적응형 Baseline 업데이트
Port distribution 기반의 Entropy 계산(H(X) = -Σ p(x) log₂ p(x))을 통해 포트 스캔 등 비정상 패턴 감지
단순 점수가 아닌 Feature별 기여도를 출력하는 Explainable scoring 시스템으로 운영자 가시성 확보

실천 포인트

1. 리소스 제약 환경에서는 Full Data 전송 대신 eBPF를 통한 커널 단 필터링 및 메타데이터 추출 검토

2. 복잡한 신경망 대신 Median/MAD/EWMA 등 통계적 기법을 조합한 'ML-Lite' 접근법으로 설명 가능성 확보

3. 엣지 장치의 Cold Start 문제를 해결하기 위한 최소 Baseline 축적 기간 설정 및 프로파일링 전략 수립

4. 비정상 징후 탐지 시 '왜(Why)'에 해당하는 Feature 기여도를 함께 제공하는 인터페이스 설계

태그