모든 것은 거짓으로 향하는가
단순 파라미터 확장을 넘어선 구조적 혁신과 LLM의 지능적 한계 분석
ServiceNow가 15B 추론 모델을 Mamba 하이브리드로 변환해 2.1배 처리량 증가 달성
Apriel-H1: The Surprising Key to Distilling Efficient Reasoning Models
Technology Innovation Institute(TII)가 순수 State Space Model 기반 Falcon Mamba 7B를 개발해 Attention 메커니즘 없이도 Transformer 수준의 성능 달성
Welcome Falcon Mamba: The first strong attention-free 7B model