10M 파라미터 GPT 모델을 노트북 환경에서 1시간 내 구현

Context

블랙박스 라이브러리 의존성을 배제하고 Transformer 아키텍처의 내부 동작 원리를 직접 구현하는 교육적 접근 방식. 대규모 모델인 GPT-2(124M) 대비 하드웨어 제약과 학습 시간을 고려한 경량화된 파이프라인 설계 필요성 대두.

Technical Solution

• 소규모 데이터셋 학습 효율을 위해 BPE 대신 Vocab size 65의 Character-level Tokenizer 채택
• Embedding, Self-attention, LayerNorm, MLP 블록으로 구성된 Transformer 계층 구조 설계
• Gradient Clipping과 AdamW Optimizer를 적용한 Training Loop 구현으로 학습 안정성 확보
• Temperature 및 Top-k 샘플링 기법을 통한 Autoregressive Decoding 기반의 텍스트 생성 로직 구현
• Apple Silicon(MPS), NVIDIA(CUDA) 등 가속기 자동 감지를 통한 하드웨어 추상화 계층 적용
• n_layer, n_head, n_embd 파라미터 조절을 통한 모델 스케일링 전략 수립