NVIDIA가 Isaac GR00T N1.5를 LeRobot SO-101 로봇팔에 맞춰 파인튜닝하는 4단계 워크플로우로 새로운 로봇 embodiment 적응 가능

Context

Isaac GR00T N1.5는 범용 휴머노이드 로봇 추론 기초 모델이지만 SO-100/SO-101과 같은 특정 로봇 embodiment에 대한 사전학습 데이터가 부족했다. 모든 로봇 개발자가 대규모 GPU 리소스 없이 자신의 하드웨어에 맞춰 모델을 커스터마이징할 방법이 필요했다.

Technical Solution

• EmbodimentTag 시스템 도입: 서로 다른 로봇 플랫폼에 대한 모델 자동 커스터마이징 지원으로 new_embodiment 태그로 새 로봇 추가 가능
• 데이터셋 준비 자동화: modality.json 설정 파일을 통해 상태·행동 모달리티를 GR00T 호환 형식으로 변환
• Python 기반 파인튜닝 스크립트: scripts/gr00t_finetune.py를 실행하여 max-steps 10000까지 조정 가능한 파인튜닝 수행
• VRAM 최적화 옵션: --no-tune_diffusion_model 플래그로 확산 모델 튜닝 제외 시 VRAM 소비량 감소
• 클라이언트-서버 배포 아키텍처: inference_service.py를 서버로 실행하고 eval_lerobot.py를 클라이언트로 실행하여 물리 로봇에 정책 배포, denoising-steps 4로 설정하여 추론 속도 최적화

Key Takeaway

로봇 파운데이션 모델의 실용화는 embodiment-agnostic 사전학습 모델과 embodiment-specific 파인튜닝의 조합으로 달성된다. 오픈소스 데이터셋(LeRobot), 자동 설정(modality 파일), 단일 GPU 파인튜닝 지원으로 진입장벽을 크게 낮추면 취미 개발자부터 연구원까지 다양한 수준의 개발자가 고급 로봇 제어 능력을 접근 가능하게 만든다.