Hugging Face TRL이 RapidFire AI를 통합해 LLM 파인튜닝 설정 비교 속도를 16~20배 단축

Context

LLM 파인튜닝 또는 포스트트레이닝 팀들은 여러 설정값을 비교할 시간과 예산이 부족해, 평가 지표 개선의 기회를 놓치고 있습니다. 기존에는 설정값을 순차적으로 비교하면서 GPU를 비효율적으로 활용하고 있었습니다.

Technical Solution

• Adaptive chunk-based scheduling: 데이터를 여러 청크로 분할하고 청크 경계에서 설정값을 순환시켜 동시 학습 실행
• Drop-in config 래퍼: RFSFTConfig, RFDPOConfig, RFGRPOConfig를 SFT/DPO/GRPO 설정의 대체 옵션으로 제공해 기존 TRL 코드 변경 최소화
• Interactive Control Ops(IC Ops): 라이브 대시보드에서 실행 중인 학습을 Stop/Resume/Delete/Clone-Modify하고, 성능 높은 설정에만 집중 가능
• Multi-GPU 자동 오케스트레이션: RapidFire AI 스케줄러가 공유 메모리 메커니즘으로 여러 GPU에 설정값과 데이터를 자동 배치
• MLflow 기반 실시간 대시보드: 학습 시작과 동시에 메트릭, 로그, IC Ops를 한 곳에서 모니터링

Impact

• 단일 GPU 기준 4개 설정값: 순차 120분 → RapidFire AI 7.5분 (16배 단축)
• 단일 GPU 기준 8개 설정값: 순차 240분 → RapidFire AI 12분 (20배 단축)
• 2개 GPU 기준 4개 설정값: 순차 60분 → RapidFire AI 4분 (15배 단축)
• GPU 활용률: 순차 60% → RapidFire AI 95% 이상
• 2개 GPU 머신에서 첫 데이터 청크 처리 후 비교 결정 가능 시간: 약 15분 → 약 5분 (3배 단축)

Key Takeaway

멀티 설정값 병렬 학습과 adaptive 스케줄링으로 기존 GPU 자원을 그대로 유지하면서도 하이퍼파라미터 탐색 속도를 근본적으로 가속할 수 있습니다. 실시간 제어 기능으로 저성능 학습을 조기 중단하고 유망한 설정을 즉시 클론/수정할 수 있어 불필요한 컴퓨트 낭비를 방지합니다.