Tokenization 아키텍처로 인한 LLM의 Character-level 인식 한계 분석

Context

LLM은 텍스트를 문자 단위가 아닌 Token 단위로 처리하는 구조적 특성을 가짐. 이로 인해 단어 내부의 개별 문자 개수를 파악하는 등의 정밀한 Character-level 작업에서 성능 저하가 발생하는 한계점이 존재함.

Technical Solution

• Byte Pair Encoding(BPE) 알고리즘을 통한 빈도 기반의 Token 병합 처리
• 'strawberry'를 'str', 'aw', 'berry'라는 3개의 Token ID(496, 675, 15717)로 분리하여 인식
• 개별 문자가 아닌 통계적 관계를 가진 Token 덩어리를 처리하는 Architecture 설계
• 데이터 압축 효율을 위해 세밀한 문자 인식 능력을 희생한 Trade-off 채택
• Chain-of-Thought 기법을 통한 단계적 추론으로 Tokenization 한계를 논리적으로 보완

Key Takeaway

모델의 추론 오류는 지능의 문제가 아니라 데이터 표현 방식(Representation)의 차이에서 기인함. 시스템 설계 시 입력 데이터의 최소 단위와 모델의 인식 단위 간의 Gap을 고려한 전처리가 필수적임.