AI API 비용 폭탄 방지, Next.js 2단계 Rate Limit 설계 전략

Context

LLM API 호출의 높은 단가로 인한 예산 급증 위험 존재. 단일 사용자의 스크립트 오작동이나 악의적 요청이 전체 서비스 비용에 치명적 영향 미침. 요청 횟수 기반의 단순 제어를 넘어선 정밀한 비용 통제 체계 필요.

Technical Solution

• 단기 burst limit과 장기 daily budget limit을 결합한 2계층 방어 체계 구축
• User ID 기반의 고유 키를 생성하여 개별 사용자별 독립적인 요청 횟수 추적
• Free, Pro, Enterprise 등 구독 플랜별로 차등화된 할당량(Quota) 적용 구조
• Next.js API Route 내 Middleware 성격의 검증 로직을 배치하여 API 호출 전 사전 차단
• 단순 요청 횟수를 넘어 실제 사용된 Input/Output Token 수를 DB에 기록하는 정밀 트래킹 도입
• 월간 누적 비용(costCents)을 합산하여 설정된 예산 초과 시 요청을 제한하는 하드 캡(Hard Cap) 설계

Impact

• 일반 API(0.001 cents) 대비 수백 배 비싼 GPT-4o(0.5 cents) 비용 리스크 관리
• 단일 사용자 10,000회 요청 시 발생 가능한 최대 $30~$50의 급격한 비용 상승 억제

Key Takeaway

외부 API 의존도가 높은 서비스는 요청 횟수 기반의 Rate Limit와 실제 자원 소모량 기반의 Budget Limit를 동시에 운영하는 다층 방어 설계가 필수적임.