피드로 돌아가기
Dev.toAI/ML
원문 읽기
SWE-Bench Pro 58.6% 달성 및 비용 5배 절감한 Open-weight 코딩 모델 Kimi K2.6
Kimi Code K2.6: Moonshot AI's Coding Model vs Claude Code
AI 요약
Context
기존 K2.5 모델의 Sequential tool call 처리 능력이 30~50회 수준에 머물며 복잡한 소프트웨어 엔지니어링 태스크 수행 시 Coherence 상실 문제 발생. 특히 대규모 리포지토리 기반의 Agentic workflow 구현을 위한 실행 깊이와 스웜 제어 능력의 한계 존재.
Technical Solution
- Mixture-of-Experts(MoE) 아키텍처 기반 총 1T 파라미터 중 토큰당 32B만 활성화하는 효율적 구조 설계
- 384개 전문가 중 8개 선택 및 1개 Shared expert를 상시 활성화하는 61 레이어 기반의 추론 최적화
- Execution depth 확장을 통한 Sequential tool call 처리 능력을 200~300회 수준으로 강화하여 논리적 일관성 유지
- 최대 300개의 Sub-agent가 4,000단계의 Coordinated steps를 수행하는 Agent swarm capacity 확장
- 256K Context window 튜닝을 통한 Repository-scale 코드베이스 분석 최적화
- Modified MIT License 기반 Open weights 제공으로 인프라 제어권 및 비용 효율성 확보
실천 포인트
- Agentic pipeline 설계 시 Tool call Chain의 최대 길이를 측정하고 모델의 Coherence 유지 한계점 검토 - 고비용 Closed-weight 모델 대체 가능성 판단을 위해 SWE-Bench Pro 등 실무 지향 벤치마크 지표 우선 확인 - 대규모 코드 생성 태스크 수행 시 Instruction following 취약점 보완을 위한 Hybrid workflow 구성 검토