Hugging Face BlogGaLore가 그래디언트의 저랭크 구조를 투영하여 옵티마이저 상태 메모리를 82.5% 감소시키고 소비자용 GPU에서 70억 파라미터 모델 학습 가능GaLore: Advancing Large Model Training on Consumer-grade HardwareAI/MLadvanced20 분 소요2024년 3월 20일