정적 제한을 넘어 TCP-Vegas 기반 적응형 동시성 제어로 시스템 회복력 확보

Context

고정된 Bulkhead 설정은 네트워크 환경 변화에 대응하기 어려운 구조. 지연 시간 증가 시 가용 슬롯이 느린 요청으로 점유되어 전체 처리량이 급감하는 현상 발생. 서비스 메모리에 요청이 누적되며 연쇄 장애로 이어지는 한계.

Technical Solution

• Little's Law(L = λW) 원리를 적용하여 시스템 내 항목 수와 도착률 및 처리 시간의 상관관계 분석
• TCP-Vegas의 AIMD(Additive Increase, Multiplicative Decrease) 로직을 활용한 동적 동시성 제한 설계
• 시스템의 최소 RTT를 Baseline으로 설정하고 지연 시간이 Baseline에 근접할 경우 동시성 제한을 1씩 점진적으로 증가시키는 전략
• 지연 시간이 임계치(Baseline의 1.5배)를 초과하면 하위 서비스의 큐잉으로 판단하여 동시성 제한을 즉시 20% 삭감하는 방식
• 패킷 손실이 아닌 지연 시간 변화에 즉각 반응하여 503 에러나 Timeout 발생 전 선제적으로 부하를 조절하는 구조
• 최소 RTT Baseline의 점진적 감쇠(Decay) 기법을 통해 네트워크 토폴로지 변경이나 인프라 마이그레이션에 대응하는 자동 재보정 메커니즘

Impact

• 지연 시간 10ms 환경에서 50개 슬롯 기준 5,000 RPS 처리 가능
• 지연 시간 500ms 급증 시 처리량이 100 RPS로 저하되는 상황을 방지하기 위한 동적 제한 적용

Key Takeaway

장애 회복력은 단순한 생존이 아니라 환경 변화에 따른 유연한 적응 능력에서 결정됨. 정적 임계값 설정 대신 관찰 가능한 메트릭 기반의 피드백 루프를 설계하여 시스템의 자가 보호 능력을 극대화해야 함.