Model Sizing 최적화로 추론 비용 절감 및 응답 속도 개선

Context

최신 Coding Agent 설계 시 단순 Leaderboard 성능 기반의 단일 모델 채택 방식이 주를 이룸. 모든 작업에 Frontier Model을 적용함에 따라 불필요한 Token 소모와 높은 Latency가 발생하는 구조적 비효율성 노출.

Technical Solution

• Task-specific Model Portfolio 구성을 통한 작업 난이도별 모델 분기 설계
• 단순 포맷팅 및 파일 요약 등 Operational Task에 Small Model을 배치하여 추론 비용 최소화
• 아키텍처 설계 및 복잡한 Debugging 작업에만 Reasoning Budget이 높은 Frontier Model을 할당하는 계층적 구조 도입
• Prompt Caching을 병행하여 반복되는 Context로 인한 Input Token 비용 및 Latency 동시 최적화
• 작업 실패 시 상위 모델로 전환하는 Cascade Escalation 경로 설계를 통한 신뢰성 확보
• 모델 선택을 단순 성능 비교가 아닌 시스템 설계의 Sizing 문제로 정의하여 Runtime Architecture에 반영