API Rate Limiting이 클라이언트 식별, 알고리즘 선택, 계층적 보호를 통해 리소스 과도 소비와 악의적 남용을 방지하는 구조

Context

API를 인터넷에 노출하면 자동 스크래퍼, 크리덴셜 스텁핑 봇, 잘못된 통합 등이 리소스를 과도하게 소비한다. 단일 악의적 행위자가 모든 서버 리소스를 점유하면 다른 모든 사용자의 경험이 저하된다.

Technical Solution

• 클라이언트 식별 → IP가 아닌 API Key 기반으로 식별한다. 기업 프록시 뒤의 사용자는 주소를 공유하고 봇넷 공격자는 수천 개의 IP에 요청을 분산하기 때문이다.
• 알고리즘 선택 → Sliding Window Counter를 기본으로 사용한다. Boundary problem 없이 메모리 효율적이면서 근사 정확도를 제공한다.
• 버스트 처리 → Token Bucket으로 refill rate와 bucket capacity를 독립 제어한다. 지속 처리량과 버스트 허용치를 별도로 관리할 수 있다.
• 계층적 보호 → Edge/Load Balancer에서 볼류메트릭 남용 방지, API Gateway에서 비즈니스 수준 제한, 개별 Service에서 마이크로서비스 간 과부하를 방지한다.
• 클라이언트 통신 → X-RateLimit-Limit, X-RateLimit-Remaining, X-RateLimit-Reset 헤더와 Retry-After로 투명한 제한 정보를 전달한다.

Impact

• Sliding Window Log: 분당 1000 요청 × 10000 클라이언트 시 1000만 개의 타임스탬프 저장 필요

Key Takeaway

Rate Limiting은 기술적 구현만큼이나 제품 결정이다. 티어별 허용량, 429 응답 versus 점진적 성능 저하, 버스트 용량 설계가 사용자 경험에 직접 영향을 미친다.