Trainable Parameter 99.68% 절감으로 구현한 고효율 LLM Fine-Tuning
Why LoRA? Understanding the representative PEFT
법률 도메인 특화 Gemma-4 모델 구현을 위한 IaaS와 Managed Service의 트레이드오프 분석
Fine-Tuning LLMs for Legal Tech: Nebius AI Cloud vs Nebius Token Factory — A Developer's Honest Comparison
Hugging Face가 Accelerate를 1.0 정식 버전으로 출시하며 6개 하드웨어 가속기 지원 및 안정화된 다중 GPU/TPU 훈련 API 제공
Accelerate 1.0.0
Google DeepMind의 Gemma 모델을 Hugging Face에서 LoRA와 QLoRA를 활용해 fine-tuning하여 메모리 효율적인 파라미터 최적화 달성
Fine-Tuning Gemma Models in Hugging Face
Hugging Face PEFT가 LoRA 어댑터 병합을 위해 Concatenation, Linear/Task Arithmetic, DARE, TIES 4가지 방식을 추가해 메모리 효율적인 온더플라이 병합 지원
🤗 PEFT welcomes new merging methods
Meta/Mistral AI의 세 가지 LLM을 LoRA 파인튜닝으로 재난 트윗 분류 태스크에 적용하여 소형 RoBERTa가 70억 파라미터 모델들을 F1 점수 0.8077 대 0.7364~0.7638로 압도
Comparing the Performance of LLMs: A Deep Dive into Roberta, Llama 2, and Mistral for Disaster Tweets Analysis with Lora
Hugging Face가 오픈소스 LLM 에코시스템을 통합하여 개발자들이 소유 데이터를 유지한 채 모델 미세조정 및 배포 가능
Open-Source Text Generation & LLM Ecosystem at Hugging Face