Tiered Fallback 전략을 통한 비용 63.2% 절감 및 추론 효율 최적화

Context

단일 Flagship LLM 엔드포인트 사용으로 인한 과도한 추론 비용 발생 및 낮은 Cost-Efficiency 문제 직면. 벤치마크 점수와 실제 비용 간의 낮은 상관관계로 인해 무조건적인 고성능 모델 채택이 비효율적인 구조임을 파악함.

Technical Solution

• Global API 통합 라우팅 레이어 도입을 통한 184개 모델의 신속한 교체 및 테스트 환경 구축
• 'Cheap Model First' 전략의 Tiered Fallback 체인 설계를 통한 추론 비용 최소화
• Logprobs 기반의 Confidence Check 로직을 적용하여 응답 품질 저하 시 상위 모델로 Escalation 수행
• 실제 Production Workload(월 230만 요청) 기반의 표본 추출 및 통계적 유의성 검증을 통한 모델 선정
• 단순 벤치마크가 아닌 'Score per Dollar'라는 효율성 지표를 정의하여 최적의 모델 조합 도출

Impact

• 월간 추론 비용: $847에서 $312로 63.2% 감소
• 처리 성능: Throughput 280 tok/s에서 320 tok/s로 14.3% 향상
• 응답 속도: Average Latency 1.4s에서 1.2s로 14.3% 개선
• 품질 유지: 사용자 평가 점수 4.6점에서 4.4점으로 0.2점 하락에 그침

Key Takeaway

LLM 아키텍처 설계 시 단일 모델 의존도를 낮추고, 작업 난이도에 따라 모델을 계층화하는 Routing Layer 도입이 비용과 성능의 최적 접점을 찾는 핵심 전략임.