Z-Score 기반 적응형 임계값으로 실시간 IP 차단 시스템 구축

Building a Real-Time Anomaly Detection Daemon for a Live Cloud Storage Platform

Nehemiah2026년 4월 29일6분intermediate

AI 요약

Context

불특정 다수에게 노출된 Nextcloud 인스턴스의 Credential Stuffing 및 DoS 공격 방어 필요성 대두. 기존 Static Rate Limit과 Cron 기반 모니터링의 느린 반응 속도 및 유연성 부족으로 인한 한계 직면.

Technical Solution

Nginx JSON 로그를 실시간으로 Tailing 하는 Streaming Pipeline 구조 설계를 통한 탐지 지연 최소화
60초 단위 Sliding Window와 Python deque를 활용한 In-memory 상태 관리로 Constant-time 데이터 처리 구현
Mean 및 Standard Deviation 기반의 Z-Score와 Hard Spike 임계값을 병행한 Dual-threshold 탐지 모델 적용
4xx/5xx 에러 발생률에 따른 동적 임계값 강화 로직을 통한 Scanning 공격 탐지 민감도 향상
Per-IP 자동 차단과 Global 이상 징후 운영자 알림을 분리한 Asymmetric Response 전략 채택
위반 횟수에 따라 차단 기간을 늘리는 Escalation Tier 구조 설계를 통한 반복적 어뷰징 원천 차단

실천 포인트

- 트래픽 패턴이 가변적인 환경에서는 Static Limit 대신 Z-Score 기반 적응형 임계값 검토 - 실시간 대응이 필수적인 보안 시스템의 경우 Polling 방식 대신 Event-driven Streaming 구조 채택 - 오탐으로 인한 서비스 가용성 저하를 막기 위해 Global 차단과 Per-IP 차단의 자동화 수준 차별화 - 메모리 효율과 처리 속도 확보를 위해 deque와 같은 최적화된 자료구조 활용 여부 확인

태그

#Anomaly Detection #Streaming Pipeline #iptables #Z-score #Sliding Window

원문 읽기