Semantic Routing을 통한 LLM 비용 최적화 및 복잡도 제거

Context

단일 LLM 사용 시 모든 요청에 고성능 모델을 할당하여 발생하는 비용 낭비와 추론 지연 시간 문제 발생. 기존의 hardcoded if/else 로직을 통한 모델 분기 처리는 요청 유형이 다양해질수록 코드 복잡도를 증가시키는 한계점 보유.

Technical Solution

• Policy-driven Routing Layer 도입을 통한 요청별 최적 모델 자동 매칭 구조 설계
• Semantic Matching 기반의 Task Definition을 정의하여 Prompt의 의도를 분석하고 적절한 모델 풀로 배분
• 단순 이메일 작성은 Llama 3.3 Instruct 70B와 같은 경량 모델로, 복잡한 아젠다는 Claude Opus 4.7과 같은 Frontier 모델로 라우팅하여 자원 효율성 극대화
• Fallback Model 설정을 통해 정의되지 않은 모호한 요청에 대한 응답 안정성 확보
• API 기반 Router 구성으로 인프라 설정을 코드화하여 버전 관리 및 배포 자동화 구현
• LLM-as-a-Judge 방식의 Evaluation 도구를 활용한 응답 완결성 및 Token 사용량 정밀 측정