Batch Merging과 C Extension으로 훈련 속도 2,160배 개선
minbpe vs turboBPE: Two ways to think about tokenizer training
Vocab 설계 최적화 통한 추론 비용 15-30% 절감 및 효율 개선
Tokenization under the hood: BPE, WordPiece, SentencePiece, and Unigram compared
Tokenization 아키텍처로 인한 LLM의 Character-level 인식 한계 분석
How Many R's in Strawberry? Your AI Has No Idea Why That's Hard
BPE Tokenization과 Transformer 기반 Next Token Prediction의 메커니즘 분석
How AI Works Under the Hood: LLMs Explained with Code
BPE 도입을 통한 UNK 토큰 제거 및 시퀀스 효율성 최적화
LLM Study Diary #2: Tokenization
LLM이 텍스트를 처리할 때 글자 수와 관계없이 토큰 단위로 과금되므로 비용 최적화를 위해 토큰화와 인코딩 방식을 이해해야 한다
Tokens vs Bytes in AI: What LLMs Actually See When You Type
Tushar Singla이 순수 Python으로 BPE 토크나이저를 처음부터 구현하여 GPT-2/GPT-3/GPT-4가 사용하는 토큰화 메커니즘의 작동 원리 파악
I built the algorithm behind ChatGPT from scratch — here's what I learned