A11 프레임워크 기반 Transformer의 인지 구조적 한계와 설계 결함 분석
Transformer as an Incomplete Cognitive Architecture: What It Captures Well and What It Misses (A11 Perspective)
Transformer 기반 고차원 Embedding 및 Attention 메커니즘을 통한 문맥 추론
How ChatGPT/Gemini/MS Copilot Understands Your Question: A Step-by-Step Journey from Input to Response
BPE Tokenization과 Transformer 기반 Next Token Prediction의 메커니즘 분석
How AI Works Under the Hood: LLMs Explained with Code
Causal Attention 기반 Token 간 관계 모델링 및 Scaled Dot-Product 최적화
Chapter 9: Single-Head Attention - Tokens Looking at Each Other
Transformer: Recurrence 제거를 통한 AI Scaling Primitive 구현
Without google's transformers, there is no GPT-ishs
Positional Encoding과 Self-Attention을 통한 Decoder 레이어 구조 설계
Understanding Transformers Part 12: Building the Decoder Layers
Residual Connection을 통한 Transformer Encoder의 학습 효율 최적화
Understanding Transformers Part 10: Final Step in Encoding
Softmax 기반 Weighting을 통한 Self-Attention Value 산출 메커니즘
Understanding Transformers Part 7: From Similarity Scores to Self-Attention
Query와 Key 벡터 생성을 통한 Transformer Self-Attention 유사도 측정 메커니즘
Understanding Transformers Part 5: Queries, Keys, and Similarity
문맥의 핵심을 짚어내는 Self-Attention의 작동 원리
Understanding Transformers Part 4: Introduction to Self-Attention
Transformer의 Self-Attention 구조로 해석한 고효율 Tech Lead의 리더십 모델
Q, K, V : The Three Things Every Great Tech Lead Does Without Knowing It
Transformer 모델에서 위치 인코딩 방식을 Integer → Sinusoidal → Rotary Positional Encoding(RoPE)으로 단계적 진화시켜 최신 LLama 3.2에 적용
You could have designed state of the art positional encoding
Nyströmformer가 Nyström 행렬 근사 방법을 자체-주의 메커니즘에 적용해 시간 복잡도를 O(n²)에서 O(n)으로 감소
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method