피드로 돌아가기
Dev.toBackend
원문 읽기
Timeout 및 Circuit Breaker 도입을 통한 Cascading Failure 방지 및 시스템 회복력 확보
Timeouts and Circuit Breakers: Stop One Slow API From Taking Down Your Whole App
AI 요약
Context
HTTP 기반 외부 서비스 의존성 발생 시 상대 서비스의 지연이 호출 서비스의 Connection Pool 고갈로 이어지는 문제 발생. 단순 호출 구조에서는 단일 의존성 장애가 전체 시스템 다운타임으로 전이되는 Cascading Failure 위험 상존.
Technical Solution
- AbortController 기반의 aggressive timeout 설정을 통한 Connection 점유 시간 제한 및 빠른 리소스 회수
- Failure Threshold 기반의 Circuit Breaker 상태 머신(CLOSED, OPEN, HALF_OPEN) 설계로 장애 서비스로의 불필요한 요청 차단
- OPEN 상태에서의 즉각적인 Fail-fast 메커니즘을 통한 네트워크 오버헤드 제거 및 시스템 부하 경감
- HALF_OPEN 상태의 Probe Request를 통한 서비스 복구 여부 자동 감지 및 상태 전이 로직 구현
- Fallback 로직 적용을 통한 500 Error 방지 및 Graceful Degradation 기반의 사용자 경험 유지
- 서비스별 개별 Breaker 운영을 통한 장애 전파 범위의 국소화 및 격리
실천 포인트
- 의존성 서비스의 p99 Latency를 기준으로 정밀한 Timeout 값 산정 및 튜닝 - 전역 Breaker가 아닌 의존성 서비스별 개별 Circuit Breaker 인스턴스 할당 - Circuit Breaker 상태 전이 시 고신호 알림(High-signal Alert) 연동을 통한 장애 조기 발견 - 정적 기본값 또는 Stale Cache를 활용한 Fallback 전략 수립 - Slow Response 및 강제 에러 시나리오를 포함한 Resilience Testing 수행