OpenRouter 기반 LLM Router 설계로 월 비용 $847에서 $4.82로 99% 절감

Context

단일 High-end 모델(Claude 3.5 Sonnet) 사용으로 인한 과도한 API 비용 발생 및 운영 부담 가중. 모든 작업에 고성능 모델을 일괄 적용함에 따라 리소스 낭비가 심한 구조적 한계 노출.

Technical Solution

• OpenRouter API Aggregator 도입을 통한 다중 LLM 단일 인터페이스 통합 관리
• Heuristic 기반의 Intelligent Router 설계를 통한 태스크 복잡도별 모델 분기 처리
• 단순 작업(요약, 추출 등)은 Llama 3.1 70B로 배정하여 비용 효율성 극대화
• 복잡한 추론 작업은 Mistral Large 및 GPT-4 Turbo로 라우팅하는 계층적 구조 채택
• Model Hierarchy 기반의 Fallback 로직 구현을 통한 시스템 가용성 및 신뢰성 확보
• 요청의 85%를 저비용 모델로 처리하는 최적화된 트래픽 분산 전략 적용