Unbounded Queue 제거와 Load Shedding을 통한 Latency Death Spiral 원천 차단

Context

트래픽 급증 시 Buffer 크기를 늘려 대응하는 직관적 접근 방식의 한계 분석. Unbounded Queue 기반 설계는 처리 속도가 유입 속도를 못 따라갈 때 대기열이 무한히 증가하며 시스템 전체가 마비되는 구조적 결함 보유.

Technical Solution

• Little's Law($L = \lambda W$)에 근거한 대기열 증가와 응답 시간 지연의 상관관계 분석
• Dead Request 처리에 따른 CPU 자원 낭비와 GC Pause로 이어지는 Latency Death Spiral 메커니즘 식별
• 무제한 큐를 제거하고 Capacity 초과 시 즉시 요청을 거절하는 Explicit Load Shedding 도입
• 모든 통신에 Mandatory Timeout을 설정하여 서비스 불능 상태의 전파를 차단하는 Feedback Loop 설계
• 개발자 편의성보다 시스템 예측 가능성과 Crash-safety를 우선한 Bounded Queue 및 Send_Result 처리 강제