O(n²) Attention 비용 낭비 해결을 위한 SSM 기반 메모리 시스템 설계
The Context Window Lie: Why Your LLM Remembers Nothing
H Company가 Hybrid SSM-Attention 아키텍처로 Holotron-12B를 개발해 단일 H100 GPU에서 WebVoyager 벤치마크 기준 Holo2-8B 대비 2배 이상 처리량 달성
Holotron-12B - High Throughput Computer Use Agent
Falcon-LLM 팀이 Transformer와 State Space Model을 병렬 조합하는 하이브리드 아키텍처로 0.5B~34B 규모의 6가지 모델 계열 개발, 동일 크기 Transformer 모델 대비 4배 입력 처리량과 8배 출력 생성량 달성
Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance
Technology Innovation Institute(TII)가 순수 State Space Model 기반 Falcon Mamba 7B를 개발해 Attention 메커니즘 없이도 Transformer 수준의 성능 달성
Welcome Falcon Mamba: The first strong attention-free 7B model