Transformer의 Self-Attention 구조로 해석한 고효율 Tech Lead의 리더십 모델
Q, K, V : The Three Things Every Great Tech Lead Does Without Knowing It
Transformer 모델에서 위치 인코딩 방식을 Integer → Sinusoidal → Rotary Positional Encoding(RoPE)으로 단계적 진화시켜 최신 LLama 3.2에 적용
You could have designed state of the art positional encoding
Nyströmformer가 Nyström 행렬 근사 방법을 자체-주의 메커니즘에 적용해 시간 복잡도를 O(n²)에서 O(n)으로 감소
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method