Hugging Face 팀이 Constitutional AI 기법을 오픈소스 LLM에 적용해 사용자 정의 원칙에 따른 자동 정렬 데이터셋 생성 및 안전성 평가 방법론 제시
Constitutional AI with Open LLMs
Hugging Face TRL 라이브러리의 IPO 구현 버그(손실 함수 평균화 누락)를 수정해 DPO와 동등한 성능 달성
Preference Tuning LLMs with Direct Preference Optimization Methods