Qwen3.6-27B: 270억 dense 모델에서 플래그십급 코딩 성능

Context

기존의 대규모 MoE 모델은 파라미터 수 증대를 통해 성능을 확보했으나, 라우팅 복잡성으로 인한 배포 효율성 저하 문제가 존재함. 특히 고사양 리소스 기반의 플래그십 모델 대비 경량 모델의 코딩 및 추론 능력 부족이 주요 병목 지점으로 작용함.

Technical Solution

• MoE 라우팅 구조를 완전히 배제한 Dense 아키텍처 채택을 통한 배포 단순화 및 추론 일관성 확보
• 단일 통합 체크포인트 설계를 통한 thinking 및 non-thinking 모드의 동시 지원 체계 구축
• 텍스트, 이미지, 비디오를 통합 처리하는 멀티모달 추론 엔진 구현으로 Visual Agent 역량 강화
• preserve_thinking 기능을 API 레벨에서 지원하여 Agentic Task 수행 시 이전 턴의 사고 과정 보존
• Anthropic 및 OpenAI 규격 API 인터페이스 동시 제공을 통한 외부 도구(Claude Code 등) 호환성 극대화
• 200K 이상의 대규모 Context Window 확보를 통한 복잡한 코드베이스 분석 능력 최적화

Impact

• SWE-bench Verified 77.2 기록으로 Qwen3.5-397B-A17B(76.2) 대비 성능 상회
• SkillsBench 48.2 달성으로 이전 세대 플래그십 모델(30.0) 대비 약 60% 이상 성능 향상
• GPQA Diamond 87.8, AIME26 94.1 기록을 통해 Dense 소규모 모델의 추론 한계 극복
• 27B 규모로 최대 15배 더 큰 파라미터 모델들의 벤치마크 수치 능가

Key Takeaway

단순한 파라미터 규모 확장보다 정교하게 학습된 Dense 모델이 특정 도메인(Coding/STEM)에서 더 높은 효율성과 성능을 낼 수 있음을 입증함. 하드웨어 제약(VRAM)과 추론 속도(Latency) 사이의 Trade-off를 고려하여 Dense와 MoE 아키텍처를 전략적으로 선택해야 함.