Single Point of Failure 해결을 위한 Multi-Model Router 아키텍처 설계

Context

단일 LLM Provider 의존으로 인한 503 에러 발생 시 전체 서비스가 중단되는 Single Point of Failure 문제 직면. 단순 Try-Catch 기반의 Fallback 방식은 Provider별 상이한 API Endpoint, Request/Response 포맷, Rate Limit 관리의 복잡성으로 인해 코드 유지보수 효율 저하 및 스파게티 코드 양산.

Technical Solution

• AIResponse 인터페이스 정의를 통한 Provider별 응답 데이터 포맷의 표준화(Normalization) 구현
• Provider-specific Class 설계를 통해 각 LLM 서비스의 인증 및 호출 로직을 캡슐화하여 결합도 낮춤
• AIRouter 클래스 도입으로 Provider 간 가중치 기반 Round-robin 로드밸런싱 및 순차적 Fallback 메커니즘 구축
• Router 계층에서 예외 처리 루프를 구현하여 특정 Provider 장애 시 즉각적인 대체 모델 전환 구조 설계
• 개별 Provider 클래스 내 Exponential Backoff 기반 Retry 로직을 적용하여 일시적 네트워크 오류 대응
• 공통 인터페이스 기반의 추상화 레이어 구축으로 신규 AI 모델 추가 시 기존 비즈니스 로직 변경 없는 확장성 확보