Auto-regressive LLM의 Reversal Curse 식별 및 GPT-4 정답률 79% vs 33% 격차 확인
The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A"
Auto-regressive 생성을 위한 Masked Self-Attention 메커니즘 분석
Understanding Decoder-Only Transformers Part 1: Masked Self-Attention
Temperature 제어를 통한 확률적 텍스트 생성 루프 구현 및 KV Cache 최적화
Chapter 12: Inference - Generating New Text
Fully Connected Layer와 Softmax를 통한 Transformer 출력 토큰 결정 구조
Understanding Transformers Part 17: Generating the Output Word