Autoregressive Generation 구조로 인한 Output 비용 4배 증가 및 KV Cache 최적화
Part 8 — Token-by-Token: Why AI Generates Text One Word at a Time (And Why It Costs 4x More)
Temperature 제어를 통한 확률적 텍스트 생성 루프 구현 및 KV Cache 최적화
Chapter 12: Inference - Generating New Text
Fully Connected Layer와 Softmax를 통한 Transformer 출력 토큰 결정 구조
Understanding Transformers Part 17: Generating the Output Word
Dot Product와 Softmax 기반 Encoder-Decoder Attention 메커니즘 구현
Understanding Transformers Part 14: Calculating Encoder–Decoder Attention
Linear 및 Softmax 구현을 통한 Neural Network 데이터 차원 제어와 수치 안정성 확보
Chapter 5: Linear Transformation and Softmax
Bigram 모델의 Counting 방식과 NN 접근법의 수학적 동일성 증명
My Notes on Karpathy's Makemore part 1: Building a Bigram Language Model from Scratch
Character-level Language Model 구현을 통한 Counting과 Neural Network의 등가성 증명
My Notes: Makemore - Character Level Language Model
Softmax 기반 Weighting을 통한 Self-Attention Value 산출 메커니즘
Understanding Transformers Part 7: From Similarity Scores to Self-Attention
Attention 메커니즘을 통한 Decoder의 문맥 파악 및 디코딩 최적화
Understanding Attention Mechanisms – Part 6: Final Step in Decoding
Attention 가중치(0.4, 0.6) 기반 Softmax 출력으로 첫 번째 토큰 'vamos' 생성함
Understanding Attention Mechanisms – Part 5: How Attention Produces the First Output