Technology Innovation Institute(TII)가 순수 State Space Model 기반 Falcon Mamba 7B를 개발해 Attention 메커니즘 없이도 Transformer 수준의 성능 달성
Welcome Falcon Mamba: The first strong attention-free 7B model
BigCode와 BigScience가 MinHash LSH, SimHash, Suffix Array 등 3가지 알고리즘을 조합해 대규모 데이터셋에서 중복 제거로 훈련 데이터 크기를 17M(65.86GB)으로 압축
Large-scale Near-deduplication Behind BigCode
Hugging Face가 PEFT 라이브러리를 통해 대규모 언어 모델의 파인튜닝을 학습 가능 파라미터 0.19%로 제한하면서 40GB 체크포인트를 19MB로 감소
Parameter-Efficient Fine-Tuning using 🤗 PEFT
Hugging Face가 PyTorch의 meta device와 동적 가중치 로딩으로 176억 개 파라미터 모델을 Colab 무료 인스턴스에서 실행 가능하게 구현
How 🤗 Accelerate runs very large models thanks to PyTorch
HuggingFace가 Megatron-DeepSpeed를 통한 3D 병렬화로 384개 A100 GPU에서 176B 파라미터 모델 176일 만에 3.5개월 완성
The Technology Behind BLOOM Training
Hugging Face의 Accelerate 라이브러리에 DeepSpeed ZeRO를 통합해 코드 변경 없이 배치 크기 8에서 40으로 5배 확대 및 학습 시간 3.5배 단축
Accelerate Large Model Training using DeepSpeed
Hugging Face가 GPT-Neo와 Accelerated Inference API를 조합해 적은 데이터로도 NLP 작업 수행 가능한 Few-Shot Learning 실현
Few-shot learning in practice: GPT-Neo and the 🤗 Accelerated Inference API