AI Scarcity 시대 대응을 위한 LLM Abstraction Layer 및 Cost-based Routing 설계

Context

모델 성능 향상과 비용 하락이 동시에 이루어지던 AI Abundance 시기 설계로 인한 특정 Provider 종속성 심화. Frontier 모델의 비용 상승과 공급 불안정성이 가시화되며 하드코딩된 모델 호출 구조의 리스크 증대.

Technical Solution

• 비즈니스 로직과 LLM Provider 간 결합도를 낮추는 LLMProvider Interface 기반 Abstraction Layer 도입
• 'frontier', 'mid', 'local'로 구분한 Capability Tier 정의를 통한 모델 등급 체계화
• TaskType과 Budget 상태에 따라 최적 모델을 선택하는 Cost-based Router 로직 구현
• Multi-step Reasoning 등 고난도 작업에만 Frontier 모델을 할당하는 효율적 리소스 배분 설계
• 특정 Provider 장애 시 서비스 중단을 방지하는 Fallback 구조 확보를 통한 가용성 강화
• 모델별 입력/출력 토큰 비용을 명시적으로 관리하여 예산 기반의 동적 라우팅 가능 구조 구축