SWE-bench 72.2% 달성 및 RTX 4090 기반 로컬 배포 가능한 Devstral 2 출시

Context

기존 Open-weight 코딩 모델들의 실제 멀티 파일 처리 능력 부족과 Cloud API 기반 에이전트의 코드 유출 위험 및 고비용 구조 분석.

Technical Solution

• All Hands AI 협업을 통한 실무 중심의 Multi-step Tool Use 학습 기반 모델 설계
• 파일 읽기, 코드 수정, 테스트 실행 및 결과 피드백 루프를 통한 반복적 추론 로직 구현
• 256K Context Window 확보를 통한 대규모 코드베이스 컨텍스트 유지 능력 강화
• Q4_K_M Quantization 적용으로 24B 파라미터 모델의 VRAM 요구사항을 24GB로 최적화
• Apache 2.0 라이선스 채택을 통한 상용 제품으로의 확장 및 수정 자유도 확보

Impact

• SWE-bench Verified 기준 72.2% 성능으로 Claude Sonnet 4.5(77.2%) 수준의 경쟁력 확보
• API 비용 기준 proprietary 모델 대비 약 85% 비용 절감 ($0.40/$2.00 per 1M tokens)
• Devstral Small 2 도입 시 단일 RTX 4090 또는 32GB Unified Memory Mac에서 로컬 구동 가능

Key Takeaway

벤치마크 수치보다 실무 도구 사용(Tool Use) 능력과 하드웨어 제약 사항의 Trade-off를 고려한 모델 사이즈 선택이 시스템 효율성을 결정함.