Tiered Routing 설계를 통한 AI 인프라 비용 71% 절감 및 p99 Latency 80ms 개선

Context

단일 Flagship 모델 기반의 LLM 워크로드 운영으로 인한 과도한 Token 비용 발생 및 단일 엔드포인트 집중으로 인한 p99 Latency 저하 문제 직면. 비용 효율성과 시스템 가용성을 동시에 확보해야 하는 인프라 최적화 필요성 대두.

Technical Solution

• 요청의 리스크 프로필에 따라 5단계(Tier 0~4)로 구분한 Tiered Routing 아키텍처 설계
• Qwen3-8B 등 초저가 모델을 Control-plane의 Classifier로 배치하여 요청별 최적 모델 자동 라우팅
• Multi-region Fallback 메커니즘을 도입하여 특정 리전 장애 시 가용성을 보장하는 Failover 로직 구현
• Classifier 호출에 2초의 공격적인 Timeout을 설정하여 전체 요청의 Critical Path 지연 최소화
• Random Region Selection 방식을 통해 프로바이더 간 부하 분산 및 암묵적 Canary 데이터 수집
• 정교한 Reasoning이 필요한 Critical Path에만 고비용 모델을 할당하여 Token Economics 최적화