3,000억 개의 Token 기반 Next Token Prediction을 통한 범용 언어 모델 구현

Context

명시적인 레이블이나 인간의 어노테이션 없이 대규모 텍스트 데이터만으로 언어의 구조와 지식을 학습해야 하는 과제 직면. 기존의 지도 학습 방식에서 벗어나 데이터 스스로가 정답이 되는 Self-supervision 체계의 필요성 증대.

Technical Solution

• Autoregressive Objective 설계를 통한 이전 단어 기반 다음 단어 예측 구조 구현
• Causal Self-Attention 메커니즘을 적용하여 미래 토큰에 대한 접근을 차단하는 Masking 처리
• Multi-Head Attention과 Feed-Forward Network를 결합한 GPTBlock의 적층 구조로 고차원 특징 추출
• Token Embedding과 Positional Embedding의 합산을 통한 단어의 의미적 정보와 순서 정보 동시 유지
• Cross-Entropy Loss 함수를 활용하여 예측 값과 실제 다음 토큰 간의 확률 분포 차이 최소화
• Temperature 및 Top-k Sampling 기법을 통한 생성 텍스트의 창의성과 일관성 제어