단순 Rate Limit를 넘어 행동 분석 기반의 API Gateway 구축기

Context

단순한 CRUD 애플리케이션을 넘어 실제 시스템의 방어 기제 구현 필요성 인지. 기존 Fixed Window 방식의 Rate Limiting이 가진 경계 지점 요청 폭주 문제 해결 필요. Credential Stuffing 및 정교한 스크래핑 봇 탐지를 위한 고도화된 보안 레이어 요구.

Technical Solution

• Redis Sorted Set과 Lua 스크립트를 활용한 Sliding Window Rate Limiter 설계로 원자성 확보 및 경계 지점 트래픽 폭주 방지
• IP 주소와 사용자 계정 두 가지 축을 독립적으로 추적하는 2차원 인증 실패 트래킹 시스템 구축으로 정교한 계정 탈취 공격 차단
• 요청 간 도착 시간의 표준 편차(Standard Deviation)를 측정하는 Entropy 기반 분석 로직 도입으로 일정 간격 요청을 보내는 봇 탐지
• Redis 네트워크 왕복 시간을 제거하기 위해 O(1) 시간 복잡도를 가진 Bloom Filter를 프로세스 메모리에 캐싱하여 악성 IP 및 User-Agent 즉시 필터링
• 실제 차단 적용 전 로그만 남기는 Shadow Mode 운영으로 Bloom Filter의 오탐(False Positive) 가능성을 검증하는 안전 장치 마련
• RequestID부터 ShadowMode까지 이어지는 6단계 미들웨어 체인 설계를 통해 불필요한 연산을 빠르게 배제하는 Fail-fast 구조 구현

Impact

• 150개의 병렬 요청 테스트 결과 Rate Limit 설정값인 100개까지 200 OK 응답, 초과분 50개에 대해 정확히 429 Too Many Requests 응답 확인
• 100만 개의 IP 엔트리 기준 0.1% 오탐률 설정 시 약 1.1 MB의 메모리만으로 효율적인 필터링 수행

Key Takeaway

보안 시스템 설계 시 단일 식별자(IP)에 의존하지 않고 다중 신호(JWT, 행동 패턴, 지문)를 계층적으로 결합해야 정교한 공격을 방어할 수 있음.