Respecting Boundaries: Precise Rate Limiting in Go

Context

분산 환경에서 여러 마이크로서비스 인스턴스가 동시에 다운스트림 API를 호출할 때 트래픽이 예상을 초과하여 HTTP 429 에러, 캐스케이딩 레이턴시, 비용 초과 발생이 발생한다. 다운스트림 서비스의 엄격한 할당량(예: 100 RPS)을 준수하면서도 버스트 트래픽을 안전하게 처리할 방법이 필요했다.

Technical Solution

• Token Bucket 알고리즘 도입: 일정한 속도(예: 초당 100개)로 토큰이 채워지는 버킷에서 각 요청이 토큰을 소비하도록 구현
• Resile의 WithRateLimiter(100, time.Second) 함수로 요청당 100 RPS 제한 적용: 버킷이 비어있으면 요청을 즉시 거부
• 공유 Rate Limiter 생성: resile.NewRateLimiter(50, time.Second)로 단일 인스턴스 내 여러 실행에서 동일한 할당량을 공유
• AdaptiveBucket(성공 기반)과 함께 사용 가능: 실패 기반 재시도 방지와 시간 기반 할당량 관리를 동시에 적용
• OpenTelemetry 또는 slog 텔레메트리 통합: OnRateLimitExceeded 이벤트로 거부된 요청 모니터링

Key Takeaway

Rate Limiting은 거절이 아니라 분산 시스템에서의 책임 있는 트래픽 제어이며, 소스 단계에서 트래픽을 정형화하여 자신의 서비스와 의존하는 시스템을 모두 보호하는 설계 원칙이다.