4단계 Model Routing 설계로 API 비용의 획기적 절감 달성

Context

모든 태스크에 고성능 frontier model인 Claude Sonnet을 일괄 적용함에 따른 비용 낭비 발생. 단순 분류나 요약 작업까지 고비용 모델이 처리하며 API Budget 및 Rate Limit을 빠르게 소진하는 구조적 한계 노출.

Technical Solution

• 작업 복잡도와 리스크 기반의 4-Tier Model Routing 아키텍처 도입
• Tier 0: Ollama 기반 qwen2.5:7b 모델을 통한 로컬 추론으로 단순 분류 및 라우팅 처리
• Tier 1: Claude Haiku를 활용한 JSON 추출 및 스키마 검증 등 구조화된 출력 최적화
• Tier 2: Claude Sonnet을 다단계 추론 및 코드 생성 등 핵심 비즈니스 로직 전담 배치
• Tier 3: Claude Opus를 데이터 삭제 등 되돌릴 수 없는 고위험 결정에만 제한적 할당
• CLAUDE.md 내 테이블 형식의 라우팅 규칙 명시를 통한 에이전트의 모델 선택 강제화
• API 호출 로그 인스트루먼테이션을 통한 모델 할당 적절성 주기적 검토 및 룰 업데이트