Classifier 기반 동적 모델 라우팅을 통한 고성능 LLM 배포 전략

Context

최상위 모델의 강력한 성능 구현 시 발생하는 Safety Guardrail과 실제 추론 능력 사이의 충돌 문제 발생. 단일 모델로 모든 안전성 기준을 충족하면서도 성능 저하를 최소화해야 하는 제약 사항 존재.

Technical Solution

• 단일 Underlying Model을 기반으로 Safety Posture만 다른 Fable 5와 Mythos 5로 분리한 이원화 구조 설계
• 실시간 요청을 감시하는 3종의 Classifier(Cybersecurity, Bio/Chem, Distillation) 배치
• Classifier 트리거 시 Fable 5에서 Opus 4.8로 요청을 자동 전환하는 Fallback 메커니즘 구현
• API 응답에 stop_reason: "refusal"를 포함하여 클라이언트가 모델 전환 상태를 인지하도록 설계
• SDK Middleware 또는 Fallbacks 파라미터를 통한 유연한 재시도 전략 제공
• Refusal 발생 시 출력 생성 전 단계에서 과금 제외 처리를 통한 비용 효율성 확보