CS336: 처음부터 만드는 언어 모델링

Context

추상화된 라이브러리 사용 방식으로는 언어 모델의 내부 동작과 시스템 병목 지점 파악에 한계 존재. 모델 아키텍처부터 메모리 계층 최적화까지 전 과정을 직접 구현하여 시스템 전반의 이해도 제고 필요.

Technical Solution

• Tokenizer 및 Transformer 아키텍처 직접 구현을 통한 기초 모델 학습 구조 설계
• Triton 기반 FlashAttention2 구현으로 GPU 메모리 접근 효율 극대화 및 연산 속도 최적화
• CPU 디버깅 후 GPU 학습으로 전환하는 단계적 검증 프로세스를 통한 리소스 낭비 방지
• Common Crawl 데이터 정제 및 중복 제거 로직 구현을 통한 사전학습 데이터 품질 확보
• SFT(Supervised Fine-Tuning) 및 RL(Reinforcement Learning) 적용으로 모델의 추론 및 정렬 성능 개선
• 분산 학습 코드 구현을 통한 다중 GPU 환경에서의 메모리 효율적 모델 스케일링 실현