피드로 돌아가기
Hugging Face BlogAI/ML
원문 읽기
단일 Agent Loop와 통일된 Dataset 포맷으로 Sim-to-Real 간극 제거
From the Hugging Face Hub to robot hardware with Strands Agents and LeRobot
AI 요약
Context
로봇 학습을 위해 데이터 기록, 학습, 시뮬레이션 테스트, 하드웨어 배포, 다수 로봇 조정 등 5가지 이상의 개별 도구를 사용하는 파편화된 워크플로우 존재. 도구 간 상호 운용성 부족으로 인한 개발 효율성 저하 및 Sim-to-Real 전환 시의 높은 아키텍처 비용 발생.
Technical Solution
- Robot() Factory 패턴 도입을 통한 Simulation(MuJoCo)과 Real-world 하드웨어의 추상화 레이어 통일
- LeRobotDataset 포맷을 시뮬레이션과 하드웨어 전 영역에 공통 적용하여 데이터 파이프라인의 일관성 확보
- LeRobot 스택을 AgentTools로 래핑하여 단일 Strands Agent 내에서 전체 라이프사이클을 오케스트레이션하는 구조 설계
- Zenoh 기반의 Peer Mesh 네트워크를 구축하여 단일 에이전트 명령을 다수 원격 로봇으로 확장하는 Fleet 제어 구현
- Policy 추론 인터페이스를 공통화하여 GR00T 및 MolmoAct2 등 서로 다른 체크포인트를 동일한 경로로 실행 가능하게 설계
- 하드웨어 캘리브레이션과 기록은 전용 CLI(lerobot-record)에 위임하고, 에이전트는 상위 오케스트레이션에만 집중하는 Thin Integration 전략 채택
실천 포인트
- 하드웨어 종속성을 제거하기 위해 Robot()과 같은 추상 팩토리 패턴을 적용했는가 - Sim-to-Real 전환 시 코드 수정 없이 설정값(keyword argument)만으로 환경 전환이 가능한 구조인가 - 데이터 수집 포맷을 단일화하여 학습-검증-배포 파이프라인에서 변환 비용을 제거했는가 - 분산 환경 제어를 위해 Mesh 네트워크 기반의 메시지 브로드캐스팅 구조를 검토했는가