비용·품질·가용성을 최적화하는 AI Gateway Fallback 전략 설계

Context

단순한 재시도 로직 중심의 LLM 호출 방식은 토큰 낭비와 예기치 못한 비용 상승을 초래함. 서비스 중요도와 고객 티어에 따른 차등적 대응 체계 부재로 인해 시스템 안정성과 수익성 관리가 어려운 한계 존재.

Technical Solution

• 트래픽 성격에 따른 5단계 분류(Critical, Non-critical, Internal, Batch, Experiment)를 통한 차등 Fallback 예산 및 품질 하한선 설정
• 429 Rate Limit 및 5xx Error 등 일시적 오류만 재시도 대상으로 한정하여 불필요한 토큰 소모 방지
• 예산 사용률(70%~95%)에 연동된 Dynamic Routing을 통해 비핵심 트래픽의 모델 다운그레이드 및 배치 작업 차단 수행
• 법률·의료 등 고위험 도메인의 Quality Cliff 방지를 위해 저품질 모델로의 무분별한 전환 대신 명확한 실패 응답 반환 설계
• Tenant ID, Failure Reason, Latency 등 상세 메타데이터 로깅을 통한 Fallback 정책의 정밀 튜닝 기반 마련
• API Gateway 계층에서의 Fallback 처리로 애플리케이션 코드 수정 없이 Provider 및 모델 교체 가능 구조 구축