Fixed-size Vector 압축 한계를 극복한 Attention 기반 Dynamic Context 참조 설계
Attention Mechanisms: Stop Compressing, Start Looking Back
RNN의 한계를 깨고 현대 AI의 표준이 된 Transformer 아키텍처 분석
"Attention Is All You Need" Paper tahun 2017 yang mengubah dunia kecerdasan buatan, dijelaskan tanpa perlu latar belakang teknis.
RWKV가 RNN을 Transformer 방식으로 변환해 훈련 중 병렬 처리와 추론 중 O(1) 메모리 효율을 동시에 확보
Introducing RWKV - An RNN with the advantages of a transformer