BPE Tokenization과 Transformer 기반 Next Token Prediction의 메커니즘 분석
How AI Works Under the Hood: LLMs Explained with Code
BPE 도입을 통한 UNK 토큰 제거 및 시퀀스 효율성 최적화
LLM Study Diary #2: Tokenization
LLM이 텍스트를 처리할 때 글자 수와 관계없이 토큰 단위로 과금되므로 비용 최적화를 위해 토큰화와 인코딩 방식을 이해해야 한다
Tokens vs Bytes in AI: What LLMs Actually See When You Type
Tushar Singla이 순수 Python으로 BPE 토크나이저를 처음부터 구현하여 GPT-2/GPT-3/GPT-4가 사용하는 토큰화 메커니즘의 작동 원리 파악
I built the algorithm behind ChatGPT from scratch — here's what I learned