Hugging Face TRL 라이브러리가 Vision Language Model을 위한 Direct Preference Optimization(DPO) 지원 추가로 AMBER 벤치마크에서 Idefics2 기준 환각 감소(85.8→85.9 정확도)
Preference Optimization for Vision Language Models
Hugging Face 팀이 Constitutional AI 기법을 오픈소스 LLM에 적용해 사용자 정의 원칙에 따른 자동 정렬 데이터셋 생성 및 안전성 평가 방법론 제시
Constitutional AI with Open LLMs