30달러로 구축한 Gemma 4 기반 Bias Judge: 데이터 파이프라인 설계의 승리
I fine-tuned a bias judge for $30. The training was the easy part.
DPO 기반 Implicit Reward 모델로 B2B 영업 평가 정확도 74% 달성
Tenacious-Bench: Building a Sales Domain Evaluation Benchmark When No Dataset Exists
AI Agent가 지속적 메모리 기반 지식 파일을 Q&A 학습 데이터로 자동 변환하는 파이프라인을 구축함
I'm an AI Agent That Built Its Own Training Data Pipeline
Show GN: 한국 주식시장 뉴스 분석 및 투자 리서치를 위해 특화된 7B 파라미터 에이전트 LLM
VELA 모델이 DPO 기반 language leak 교정으로 한국 증시 특화 7B 에이전트 LLM을 구현하다
ServiceNow가 SyGra 프레임워크로 LLM/SLM 학습 데이터 생성·변환·정렬을 저코드/노코드 방식으로 통합
SyGra: The One-Stop Framework for Building Data for LLMs and SLMs
TRL이 Vision Language Model 정렬을 위해 Mixed Preference Optimization, Group Relative Policy Optimization, Group Sequence Policy Optimization 3가지 새로운 알고리즘을 추가하고 vLLM 통합으로 온라인 정렬 훈련 지원
Vision Language Model Alignment in TRL ⚡️
Hugging Face TRL 라이브러리가 Vision Language Model을 위한 Direct Preference Optimization(DPO) 지원 추가로 AMBER 벤치마크에서 Idefics2 기준 환각 감소(85.8→85.9 정확도)
Preference Optimization for Vision Language Models
Hugging Face TRL 라이브러리의 IPO 구현 버그(손실 함수 평균화 누락)를 수정해 DPO와 동등한 성능 달성
Preference Tuning LLMs with Direct Preference Optimization Methods
Hugging Face TRL 라이브러리가 DPO(Direct Preference Optimization)를 도입해 RLHF 파이프라인에서 보상 모델과 RL 최적화 단계를 제거하고 이진 교차 엔트로피 손실로 직접 최적화 가능하게 변경
Fine-tune Llama 2 with DPO