SLA 확보를 위한 Multi-Provider Circuit Breaker 기반 Failover Router 설계

Context

단일 LLM Provider 의존 시 발생하는 불가피한 Outage와 Rate Limit으로 인한 서비스 가용성 저하 문제 발생. 단순한 Exponential Backoff 방식은 Hard Ceiling 제약 조건 하에서 지연된 실패를 유발하는 한계 존재.

Technical Solution

• Provider별 Circuit Breaker 패턴을 적용하여 장애 발생 시 즉시 요청을 차단하는 CircuitState(CLOSED, OPEN, HALF_OPEN) 관리 구조 설계
• 우선순위 기반의 Failover 전략을 통해 Primary Provider 장애 시 가용 가능한 대체 모델로 자동 전환하는 Routing 로직 구현
• Rolling Average 방식의 Latency Tracking을 통한 실시간 응답 성능 모니터링 및 최적 경로 선택
• Task 복잡도에 따른 Runtime Routing을 적용하여 비용 효율적인 저가형 모델과 고성능 모델 간의 동적 분배 최적화
• OpenAI-compatible Endpoint 표준 채택을 통한 Provider 교체 시 애플리케이션 코드 변경 최소화
• Half-Open 상태에서 제한적 호출을 통한 Provider 복구 여부 검증 및 자동 상태 복구 메커니즘 적용