AI API 비용 폭탄 방지, Upstash Redis 기반 Rate Limit 전략

Context

AI API 호출은 일반 웹 요청보다 비용 발생 규모가 매우 큼. 악의적 사용자의 요청 폭주 시 단시간에 막대한 비용 지출 위험 존재. 인프라 관리 부담 없는 Edge 환경의 효율적인 요청 제한 체계 필요.

Technical Solution

• Upstash Redis와 @upstash/ratelimit 라이브러리를 활용한 Serverless Rate Limit 구조 설계
• Sliding Window 알고리즘을 적용하여 특정 시간 범위 내 요청 횟수를 정밀하게 제어하는 방식
• IP 주소 대신 인증된 User ID를 식별자로 사용하여 정확한 사용자별 할당량 관리 전략
• Free/Paid 플랜에 따라 서로 다른 제한 임계치를 적용하는 Tiered Limit 로직 구현
• 단순 요청 횟수를 넘어 일일 토큰 사용량을 추적하는 Redis 기반 Token Budgeting 시스템 구축
• HTTP 429 상태 코드와 X-RateLimit 헤더를 통해 클라이언트에 리셋 시점과 남은 용량을 전달하는 통신 규격

Impact

• Upstash Redis 무료 티어 기준 일일 10,000건의 요청 처리 가능
• Free 사용자 기준 분당 5회, Paid 사용자 기준 분당 30회 요청 제한 설정
• 일일 토큰 예산 설정을 통해 Free 사용자당 약 $0.15, Paid 사용자당 약 $1.50 수준의 비용 통제 가능

Key Takeaway

비용 민감도가 높은 외부 AI 서비스 연동 시 요청 횟수와 실제 리소스 소비량(Token)을 모두 제어하는 다층 방어 설계가 필수적임.