35B Active Params MoE 구조로 Claude Opus급 성능 구현한 MAI-Thinking-1

Context

기존 Dense 모델의 높은 추론 비용과 Distillation 모델의 일반화 능력 한계라는 상충 관계 존재. 대규모 파라미터 전체를 활성화하는 구조적 비효율을 해결하고 독자적인 추론 능력을 확보한 미드웨이트 모델 필요성 증대.

Technical Solution

• 총 1T 파라미터 중 추론 시 35B만 활성화하는 Sparse Mixture of Experts(MoE) 아키텍처 채택을 통한 추론 비용 최적화
• 타사 모델의 지식 증류(Distillation)를 배제하고 독자 데이터셋으로 학습시켜 모델의 일반화 성능 및 추론 근거 강화
• 정제된 상업적 라이선스 데이터만을 활용한 Pre-training으로 엔터프라이즈 수준의 저작권 리스크 제거 및 동작 예측 가능성 확보
• 하드웨어 가속기부터 RL 프레임워크까지 수직 통합한 'Hill-Climbing Machine' 인프라 구축으로 구성 요소별 독립적 성능 개선 구현
• Safety 학습을 별도 필터링이 아닌 역강화학습(RL) 루프에 통합하여 불필요한 거부 응답(Over-refusal)을 결함으로 정의하고 해결
• OpenAI Chat Completions API 표준 인터페이스 채택을 통한 기존 인프라의 마이그레이션 비용 최소화