시간당 8천 건의 SSH 공격을 차단하는 Hybrid AI 보안 에이전트 설계

Context

전통적인 SSH Brute-Force 차단 방식의 경직성을 해결하기 위한 자율형 보안 에이전트 필요성 대두. 단순 규칙 기반 차단으로는 진화하는 공격 패턴 대응에 한계가 존재함.

Technical Solution

• Overfitting 방지를 위해 hour, attack_count, new_ips, new_usernames의 4가지 핵심 Feature만 추출하는 Minimalist Feature Engineering 적용
• TensorFlow 기반의 경량 Feed-Forward Network를 통한 실시간 Anomaly Probability 산출
• AI 모델의 확률 값(>0.7)과 Deterministic Rule을 결합한 Hybrid Decision Layer 설계를 통한 False Positive 최소화
• nftables를 이용한 OS 레벨의 즉각적인 패킷 차단 메커니즘 구현
• SQLite 기반의 Centralized Global Blacklist 운영으로 신규 서버 배포 시 즉각적인 보안 컨텍스트 전파
• 30초 주기 로그 분석 프로세스를 통한 실시간 탐지 및 대응 루프 구축

Impact

• 시간당 최대 8,386건의 공격 분석 및 차단 수행
• 99.48%의 모델 예측 정확도 달성
• 61,762건의 공격 분석 및 375개 이상의 공격 IP Global Blacklist 확보

Key Takeaway

ML 모델의 불확실성을 보완하기 위해 결정론적 규칙(Deterministic Rules)을 결합한 하이브리드 구조가 보안 시스템의 신뢰성을 높이는 핵심 설계 원칙임.