Keep the Tokens Flowing: Lessons from 16 Open-Source RL Libraries

Context

동기식 RL 훈련에서는 32K 토큰 롤아웃이 수 시간 소요되는 동안 훈련 GPU가 대기 상태로 유휴된다. 체인-오브-소트 훈련, GRPO 같은 값함수 없는 트레이너, 그리고 다중턴 도구 사용 에이전트 워크로드의 증가로 동기식 훈련 루프는 확장 불가능해졌다. MiniMax-M2.5 사례에서는 20만 토큰 컨텍스트 길이와 수백만 개의 일일 샘플 처리 규모에서 동기 배리어가 수백 개의 GPU를 유휴상태로 만든다.

Technical Solution

• 추론과 훈련을 별도의 GPU 풀로 분리: 데이터 생성(모델 추론)과 정책 그래디언트 계산을 동시에 실행하도록 아키텍처 재구성
• 롤아웃 버퍼 도입으로 생성된 데이터 임시 저장: 추론 완료를 기다리지 않고 훈련이 독립적으로 진행되도록 함
• NCCL 브로드캐스트를 사용한 비동기 가중치 전송: 훈련 중 업데이트된 모델 가중치를 추론 엔진으로 지연 없이 전달
• 오래된 데이터 처리 전략 구현: 샘플 폐기부터 중요도 샘플링 보정까지 범위의 staleness 관리 메커니즘
• Awex, Mooncake Transfer Engine 같은 고성능 가중치 동기화 라이브러리 통합: Megatron/DeepSpeed(훈련)와 SGLang/vLLM(추론) 간 서로 다른 병렬 전략 및 텐서 레이아웃 추상화
• 부분 롤아웃 지원: Prefix-resume(가중치 업데이트 중 KV 캐시 저장 후 새 정책으로 재개) 또는 Abort-and-retry(오래된 롤아웃 폐기 후 재큐) 전략

Impact

아티클에서 언급된 정량적 수치: Mooncake 기반 체크포인트 엔진으로 1조 파라미터 모델 가중치 업데이트를 약 16~17초에 완료(256개의 H20 GPU 사용).

Key Takeaway

비동기 RL 훈련은 Ray 오케스트레이션, NCCL 가중치 전송, 버퍼 기반 디커플링 등 7개 설계축에서 수렴된 패턴을 보인다. RL뿐 아니라 온-폴리시 증류 등 구조적으로 유사한 워크로드에도 동일 원칙이 적용되므로, 비동기 인프라 투자는 다양한 포스트트레이닝 시나리오의 GPU 효율성을 동시에 향상시킨다.