MiniMax M3 大模型注意力机制上所做的重大颠覆与优化
Sparse Attention과 Tile I/O 최적화로 1M 컨텍스트 계산량 20배 절감
MiniMax-M3 데뷔, 주요 벤치마크 성능에서 GPT-5.5와 Gemini 3.1 Pro를 능가하며 비용은 단 5-10% 수준
MSA 아키텍처 기반 연산량 1/20 절감 및 GPT-5.5 능가하는 M3 출시
SubQ: Sparse Attention 기반 12M 토큰 처리 및 비용 80% 절감
SubQ Model: Can Subquadratic Make Long-Context AI More Efficient?
Layer Router 기반 Flux Attention으로 추론 비용 50% 절감 및 최대 2.8배 가속
Flux Attention halves inference cost on long contexts
DeepSeek-V4 논문 읽기 요약 - 노정석
1.6T 모델의 롱컨텍스트 비용을 KV 캐시 10% 수준으로 절감한 아키텍처 혁신
KV Cache 9배 압축을 통한 1M Token Context 실용화
DeepSeek V4: Million-Token Context That Actually Works