Intel AI Labs가 Qwen3-4B에 Python 샌드박스 실행자와 GRPO 파인튜닝을 결합해 수학 추론 출력 길이 66% 감소와 정확도 향상 달성
DeepMath: A lightweight math reasoning Agent with smolagents
AI-MO가 DeepSeek-R1 스타일의 reasoning-then-generation 파이프라인을 Lean 4 정리 증명에 적용해 1.7B 모델에서 76.63% Pass@32 달성
Kimina-Prover-RL
TRL이 Vision Language Model 정렬을 위해 Mixed Preference Optimization, Group Relative Policy Optimization, Group Sequence Policy Optimization 3가지 새로운 알고리즘을 추가하고 vLLM 통합으로 온라인 정렬 훈련 지원
Vision Language Model Alignment in TRL ⚡️
TRL이 vLLM을 분리된 서버 대신 같은 GPU에서 공동 실행하도록 변경해 GRPO 학습 중 유휴 GPU 시간 제거
No GPU left behind: Unlocking Efficiency with Co-located vLLM in TRL
Open-R1 프로젝트가 DeepSeek-R1 파이프라인 재현을 위해 GRPO 훈련 및 대규모 합성 데이터 생성 인프라를 1주일 만에 구축
Open-R1: Update #1
Hugging Face TRL 라이브러리가 Group Relative Policy Optimization(GRPO) 알고리즘을 구현해 강화학습 기반 LLM 추론 능력 향상을 DeepSeek R1 재현 수준으로 실현
Mini-R1: Reproduce Deepseek R1 „aha moment“ a RL tutorial