LLM 비용 80% 절감 및 추론 최적화를 위한 Mixed Model 아키텍처 설계

Context

성능 지표 기반의 Top-down 모델 선택 관습으로 인한 불필요한 고비용 모델 과다 사용 발생. 작업 특성과 상관없이 Opus와 같은 상위 모델을 기본으로 채택하여 연산 비용 증가 및 지연 시간 최적화 실패.

Technical Solution

• Task-based Model Ranking 기반의 하향식 모델 배치 구조 설계
• Bounded Task(분류, 추출, 요약) 대상의 Haiku 전담 배치로 연산 효율 극대화
• Main Agent(Opus/Sonnet)와 Sub-agent(Haiku)를 분리한 Mixed Model 아키텍처 도입
• Prompt Cache 무효화 방지를 위해 모델 스위칭 대신 독립적인 Sub-agent 호출 방식 적용
• Structured Outputs를 통한 Haiku 출력값의 스키마 검증 및 신뢰성 확보
• 고부하 태스크의 1차 필터링 단계에 Haiku를 배치하여 상위 모델의 처리량 최적화