Vocab 설계 최적화 통한 추론 비용 15-30% 절감 및 효율 개선

Context

LLM 추론 비용 및 성능이 Tokenizer 설계에 직접적으로 종속되는 구조적 특성 분석. 전처리 단계의 부재나 부적절한 Vocab 크기 설정으로 인한 Token-per-query 증가 및 운영 비용 상승 문제 직면.

Technical Solution

• BPE: 빈도수 기반의 Greedy Merge 방식을 통한 결정론적 분절 및 빠른 처리 속도 확보
• WordPiece: 단순 빈도가 아닌 Likelihood Gain 기반 Merge를 통한 언어학적 의미 단위의 Token 생성
• SentencePiece: Raw Unicode Byte Sequence 직접 처리 방식을 통한 Pre-tokenization 제거 및 언어 독립적 구조 설계
• Unigram: 대규모 Vocab에서 Likelihood 기준 Pruning을 수행하는 확률적 하향식 접근법 채택
• Byte-level Tokenization: 모든 입력값의 Round-trip 보장을 위한 바이트 단위 처리 설계
• Vocab Size 최적화: Vocab 크기 확장을 통한 희귀 단어 분절 횟수 감소 및 시퀀스 길이 단축

Impact

• cl100k_base 대비 o200k_base 적용 시 동일 텍스트 기준 Token 수 15-30% 변동 발생
• Vocab 크기(32K vs 100K)에 따른 특정 단어 분절 수 8개에서 3개로 감소하여 추론 비용 절감

Key Takeaway

Tokenizer는 단순한 전처리 도구가 아닌 모델의 언어 이해도와 운영 비용을 결정하는 핵심 아키텍처 구성 요소임. 모델 가문별 Tokenizer 차이를 고려하여 Token 수가 아닌 Character/Byte 기준으로 성능 벤치마크를 수행하는 설계 원칙 필요.