LLM 비용 상승 및 가용성 리스크 대응을 위한 Dynamic Routing 아키텍처 설계

Context

모델 성능 향상과 비용 감소가 동시에 이루어지던 LLM 풍요의 시대가 종료됨에 따라 Frontier 모델의 고비용 구조가 심화됨. 특정 벤더에 종속된 Hardcoded 아키텍처는 API 중단 및 비용 급증 상황에서 시스템 전체의 가용성을 상실하는 치명적 한계를 노출함.

Technical Solution

• LLMProvider Interface 도입을 통한 비즈니스 로직과 모델 공급자 간의 결합도 제거 및 추상화 계층 구축
• 모델을 Frontier, Mid, Local로 구분한 Tiering 시스템 설계를 통해 작업 복잡도에 따른 비용 최적화 기반 마련
• 작업 유형(Task Type)과 가용 예산(Budget)을 입력값으로 하는 Dynamic Router 구현으로 최적 모델 자동 할당
• 고난도 추론이 필요한 Critical Path에만 Frontier 모델을 배치하고 단순 작업은 Low-cost 모델로 분기하는 Selective Routing 전략 적용
• 벤더 장애 발생 시 품질 저하를 감수하더라도 서비스 연속성을 보장하는 Graceful Degradation fallback 메커니즘 확보