NVIDIA가 Isaac for Healthcare v0.4의 SO-ARM 스타터 워크플로우로 수술 보조 로봇 개발을 시뮬레이션부터 배포까지 단일 통합 파이프라인으로 제공하며 프로토타이핑 기간을 수개월에서 수일로 단축

Context

의료 로봇 개발은 실제 환경에서 훈련 데이터 수집이 어렵고 위험하며, 순수 시뮬레이션은 현실의 복잡성을 반영하지 못해 심각한 Sim-to-Real 갭이 존재했다. 기존 방식은 개발 사이클이 수개월 소요되고 서로 분리된 도구 체인으로 인해 개발 효율성이 매우 낮았다.

Technical Solution

• 혼합 훈련 데이터셋 구성: 시뮬레이션 70개 에피소드와 실제 환경 10~20개 에피소드를 결합하여 두 도메인 모두 넘어서는 정책 생성 (전체 훈련 데이터의 93%를 시뮬레이션으로 생성)
• LeRobot과 Isaac Lab을 통한 통합 데이터 수집 파이프라인: SO-ARM 101(6-DOF 정밀 조작기, 듀얼 카메라)을 이용한 실제 데이터와 키보드 또는 하드웨어 텔레오퍼레이션을 통한 시뮬레이션 데이터 수집
• GR00T N1.5 모델 포스트 트레이닝: 결합된 데이터셋에서 자연어 명령어 처리 능력을 갖춘 정책 모델 생성 (예: "메스를 의사에게 준비해주기" → 로봇 행동 실행)
• Isaac Lab의 병렬 시뮬레이션 및 RL 프레임워크: 수천 개 시뮬레이션 환경을 동시에 실행하여 PPO 기반 정책 훈련 및 궤적 분석
• TensorRT 자동 최적화: 훈련된 모델을 프로덕션 배포용 형식으로 변환하고 다중 카메라 추론에 대응하는 동적 도형 지원
• RTI DDS 통신 기반 하드웨어 배포: 실시간 추론 실행으로 물리적 로봇에 정책 직접 배포

Impact

프로토타이핑 시간: 수개월에서 수일로 단축. 시뮬레이션 기반 학습으로 훈련 데이터 중 93%를 합성 데이터로 생성. 개발자는 단일 DGX Spark 시스템으로 시뮬레이션, 훈련, 배포의 세 단계를 모두 실행 가능.

Key Takeaway

의료 로봇 개발에서 시뮬레이션과 실제 데이터를 70:10-20 비율로 혼합하는 것이 각 도메인의 약점을 상호 보완하고 Sim-to-Real 갭을 효과적으로 극복하는 방식이다. 통합 개발 프레임워크(데이터 수집부터 배포까지 단일 파이프라인)를 구축하면 복잡한 도메인에서도 신속한 반복 개발이 가능해진다.