IndexCache 도입을 통한 DSA 인덱서의 O(NL²) 연산 병목 제거
GML5 IndexCache
KV Cache 최적화를 통한 LLM 추론 속도 향상 및 메모리 병목 해결
Why KV Cache Matters — How MQA, GQA, and MLA Make LLM Inference Faster
Moonshot AI가 Kimi K2.7-Code를 출시했습니다.
1T MoE 기반 Kimi K2.7-Code, 추론 토큰 30% 절감 및 코딩 성능 극대화
Kimi K2.7-Code: 토큰 효율이 개선된 오픈소스 코딩 모델
사고 토큰 30% 절감 및 MoE 기반 1T 파라미터 코딩 에이전트 구현
DeepSeek이 V4 Pro 가격 할인을 영구화함
MLA 구조와 DSA 도입을 통한 KV 캐시 13배 절감 및 추론 비용 혁신
FP8 Mixed Precision과 MoE 기반 671B 파라미터 효율적 구현
DeepSeek-V3: The 671B MoE Model You Can Run Locally in 2026