Hugging Face TRL 라이브러리가 Group Relative Policy Optimization(GRPO) 알고리즘을 구현해 강화학습 기반 LLM 추론 능력 향상을 DeepSeek R1 재현 수준으로 실현

Context

DeepSeek R1의 공개로 강화학습을 통한 LLM의 자동 추론 능력 획득 가능성이 증명되었으나, 업계에서는 이를 재현하기 위한 구체적인 구현 방법과 튜토리얼이 부재했다. 특히 복잡한 추론 작업에서 모델이 초기 접근법을 재평가하고 생각 시간을 할당하는 "aha moment"를 오픈소스 모델로 재현하는 방법이 불명확했다.

Technical Solution

• Group Relative Policy Optimization(GRPO) 알고리즘 도입: PPO와 달리 별도의 가치함수 모델을 제거하고 그룹 점수에서 베이스라인을 추정해 메모리 사용량과 계산 오버헤드 감소
• Qwen/Qwen2.5-3B-Instruct 모델 사용: 1.5B 이상 파라미터 규모를 가진 명령 조정 모델로 추론 학습이 가능한 기본 질을 확보
• Countdown Game 작업 설정: 무작위로 선택된 숫자와 기본 산술 연산(+, -, ×, ÷)으로 목표 숫자에 도달하는 수학 퍼즐을 리워드 신호로 활용
• 분산 학습 인프라 구성: DeepSpeed와 vLLM을 이용한 4개 NVIDIA H100 GPU 기반 분산 훈련 파이프라인 구축
• TRL GRPOTrainer 클래스 활용: Transformers 라이브러리의 Trainer를 상속한 전문 구현체로 로깅, 체크포인팅, 분산 훈련, PEFT 지원
• 샘플링-리워드 계산-어드밴티지 계산-정책 최적화 순환: 각 프롬프트마다 여러 출력을 생성하고 규칙 기반 리워드 함수로 점수 매기며 그룹 내 정규화된 어드밴티지로 정책 업데이트

Impact

아티클에는 정량적 성능 지표가 명시되지 않음. 대신 1주일 내 DeepSeek R1의 "aha moment"를 오픈소스 모델로 재현한 개념 증명 달성을 기술.

Key Takeaway

GRPO는 기존 PPO보다 계산 효율이 높으면서도 LLM의 추론 능력을 강화학습으로 자동 습득하게 할 수 있는 실용적 알고리즘이며, Countdown Game 같은 단순한 작업 정의와 명확한 리워드 신호만으로도 모델의 자기 검증 및 탐색 능력 학습이 가능하다.