NVIDIA Isaac for Healthcare v0.4가 시뮬레이션 데이터 93%를 활용한 혼합 학습 파이프라인으로 수술 보조 로봇의 시뮬레이션-실배포 사이클 단축

Context

의료 로봇 개발에서 실제 환경 학습 비용이 높고 순수 시뮬레이션은 현실의 복잡성을 충분히 반영하지 못한다는 문제가 있었다. 기존에는 시뮬레이션과 실제 하드웨어 간의 데이터 수집, 훈련, 평가 파이프라인이 분리되어 있어 통합 워크플로우 구축이 어려웠다.

Technical Solution

• 혼합 학습 접근법 도입: 약 70개의 시뮬레이션 에피소드와 10~20개의 실제 환경 데이터를 조합하여 정책 훈련
• LeRobot과 IsaacLab 통합 데이터 수집 파이프라인: SO-ARM101 하드웨어(6-DOF 정밀 매니퓰레이터, 듀얼 카메라)와 시뮬레이션 환경에서 일관된 명령어로 데이터 수집
• GR00T N1.5 모델 파인튜닝: 자연어 지시문(예: "메스 준비")을 로봇 행동으로 변환하는 다중 카메라 비전 기반 정책 훈련
• IsaacLab의 병렬 시뮬레이션 환경: 수천 개 동시 시뮬레이션으로 다양한 엣지 케이스 데이터 생성
• TensorRT 자동 최적화: 학습된 모델을 Ampere 이상 GPU(VRAM ≥30GB)가 있는 실제 하드웨어에 리얼타임 배포 가능하도록 변환

Impact

정책 훈련에 사용된 데이터의 93%가 시뮬레이션에서 생성되었다. 모든 시뮬레이션, 훈련, 배포(물리 AI용 3대 컴퓨터 필요)를 단일 DGX Spark 시스템에서 실행 가능하다.

Key Takeaway

Sim2Real 개발 사이클에서 높은 비율의 합성 데이터(93%)를 활용하면서도 소량의 실제 환경 데이터(10~20 에피소드)를 혼합하는 전략이 순수 시뮬레이션 학습의 한계를 극복하고 현실 배포 가능한 정책을 만든다. 통합 데이터 수집-훈련-평가 루프를 반복 가능하게 구성하는 것이 의료 로봇 개발의 실용성을 높인다.