198B Sparse MoE 기반 Step 3.7 Flash: 추론 비용 89% 절감 및 성능 안정화

Context

Step 3.5 Flash의 넓은 성능 편차(43%~73%)로 인한 프로덕션 스케줄링의 불확실성 존재. Vision 처리 시 별도 모델 호출로 인한 지연 시간 및 오버헤드 발생 문제 해결 필요.

Technical Solution

• 198B Sparse MoE 아키텍처 설계를 통한 11B Active Parameter 기반의 연산 효율성 확보
• 1.8B-parameter ViT encoder를 Language Backbone에 직접 통합하여 Native Vision 처리 구현
• 실패 가능성이 높은 하위 태스크를 상위 모델로 자동 라우팅하는 Advisor Mode 도입
• reasoning_effort 파라미터를 API 수준에서 First-class flag로 제공하여 추론 제어 정밀도 향상
• OpenAI-compatible SDK 구조 채택을 통한 기존 인프라와의 통합 비용 최소화
• Regional Base URL 분리를 통한 글로벌 및 중국 리전의 트래픽 및 인증 상태 격리

Impact

• SWE-Bench Pro 점수 51.3%에서 56.3%로 향상 및 Terminal-Bench 2.1 53.4%에서 59.5%로 개선
• 벤치마크 성능 편차를 43~73%에서 64.5~71.5% 범위로 좁혀 결과 예측 가능성 확보
• Advisor Mode 적용 시 Claude Opus 4.6 대비 97% 성능을 유지하며 태스크당 비용 $1.76에서 $0.19로 89% 절감
• NVIDIA NIM 기반 Hopper GPU 환경에서 최대 600 tokens/second의 처리 속도 달성

Key Takeaway

단순한 파라미터 증대보다 Sparse MoE를 통한 연산 비용 최적화와 Native Multimodal 통합이 실질적인 Agentic Workflow의 경제성을 결정하는 핵심 요소임.