Matrix Orthogonalization 도입으로 mLSTM Noisy AR 성능 최대 45.4%p 향상
Matrix Orthogonalization Improves Memory in Recurrent Models
Hidden State를 통한 순차 데이터의 맥락 유지 및 시퀀스 인식 모델 구현
How RNNs Work — Remembering Previous States in Sequential Data
Fixed-size Vector 압축 한계를 극복한 Attention 기반 Dynamic Context 참조 설계
Attention Mechanisms: Stop Compressing, Start Looking Back
RNN의 한계를 깨고 현대 AI의 표준이 된 Transformer 아키텍처 분석
"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.
RWKV가 RNN을 Transformer 방식으로 변환해 훈련 중 병렬 처리와 추론 중 O(1) 메모리 효율을 동시에 확보
Introducing RWKV - An RNN with the advantages of a transformer