Hugging Face가 RLOO 알고리즘을 도입해 PPO 대비 GPU 메모리 50-70% 감소 및 2-3배 학습 속도 개선
Putting RL back in RLHF
Hugging Face TRL 라이브러리가 DDPO(Denoising Diffusion Policy Optimization)를 구현해 Stable Diffusion 모델의 이미지 생성 품질을 인간의 미적 선호도에 맞춰 파인튜닝 가능하게 함
Finetune Stable Diffusion Models with DDPO via TRL
Hugging Face TRL 라이브러리가 DPO(Direct Preference Optimization)를 도입해 RLHF 파이프라인에서 보상 모델과 RL 최적화 단계를 제거하고 이진 교차 엔트로피 손실로 직접 최적화 가능하게 변경
Fine-tune Llama 2 with DPO
Meta가 Llama 2를 오픈소스로 공개하며 상용 라이선스 기반의 7B~70B 파라미터 모델 12개를 Hugging Face에 통합
Llama 2 is here - get it on Hugging Face
Hugging Face가 LLM 기반 데이터 라벨링과 인간 라벨링을 비교 평가해 GPT-4 평가의 길이 편향 및 스케일 설정 문제 3가지 발견
Can foundation models label data like humans?
Hugging Face가 LLaMA 7B 모델에 LoRA 8bit 로딩과 RLHF 파이프라인을 적용해 단일 GPU에서 대규모 언어모델 학습을 가능하게 함
StackLLaMA: A hands-on guide to train LLaMA with RLHF
Hugging Face의 TRL과 PEFT 통합으로 20B 파라미터 LLM을 24GB 소비자용 GPU에서 RLHF 파인튜닝 가능하게 구현
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU
Hugging Face가 ChatGPT 등 대화형 AI 에이전트의 학습 기법(IFT, SFT, RLHF, CoT)을 비교 분석해 대화형 언어 모델 개발의 핵심 패턴 정리
What Makes a Dialog Agent Useful?
Hugging Face가 언어 모델을 인간 피드백으로 직접 최적화하는 RLHF 3단계 파이프라인을 체계화해 ChatGPT 같은 정렬된 모델 개발의 기술적 기초 제시
Illustrating Reinforcement Learning from Human Feedback (RLHF)