Risk-based Routing을 통한 LLM 비용 최적화 및 리소스 효율 극대화

Context

모든 작업에 고성능 모델을 일괄 적용함에 따른 예산 낭비와 Context 관리 효율 저하 발생. 특히 정형화된 Routine Task까지 고비용 모델을 사용함으로써 발생하는 운영 복잡도와 가시성 부족 문제 직면.

Technical Solution

• Task Risk Level에 따른 이원화된 Model Routing 체계 설계
• Architecture 결정, Security-sensitive 로직 등 판단력이 필요한 고위험 작업은 High-end 모델에 할당
• Test 작성, README 수정, Lint cleanup 등 검증이 용이한 저위험 Routine Task는 Low-cost 모델로 분기
• Centralized Router Layer 도입을 통한 API Key, Per-user Limit, Routing Rule의 통합 관리
• Routine Task에 대해 'Small Patch 요청 -> Test 실행 -> Diff 리뷰'로 이어지는 검증 루프 강제
• Failure Log 수집을 통한 Routine Routing의 경계 조건 최적화 및 모델 전환 시점 정의