피드로 돌아가기
Dev.toAI/ML
원문 읽기
Nvidia Isaac 중심의 Physical AI 플랫폼 생태계 구축과 촉각 피드백 통합
Physical AI just got its platform layer. Nvidia is the only candidate. Here's what you missed this week.
AI 요약
Context
기존 Physical AI는 Vision-Language Model 중심의 시각 정보에 의존하여 유연한 물체나 정밀한 조작 시 발생하는 tactile feedback 부재로 인한 한계 직면. 하드웨어 파편화로 인해 로봇 제어와 학습 데이터 수집을 위한 표준화된 플랫폼 레이어 부족 상황.
Technical Solution
- 시각적 한계 극복을 위해 fingertip당 1,000개 이상의 touch sensor를 통합한 Sharpa Wave gloves 기반의 촉각 피드백 루프 설계
- Jetson AGX Thor 하드웨어 상에서 Isaac GR00T foundation model과 Isaac Lab training 환경을 수직 통합한 reference design 구축
- Cosmos를 통한 synthetic data 생성 및 OSMO 기반의 workload orchestration으로 학습-추론 파이프라인 최적화
- XRZero-G0 프레임워크를 통한 VR 기반 데이터 수집으로 실제 로봇 투입 없이 학습 데이터를 확보하는 효율적 데이터 파이프라인 구축
- 하드웨어 제조사와 무관하게 동일한 AI stack을 공유하는 'Wintel' 구조의 플랫폼 레이어 지향 설계
실천 포인트
1. 로봇 도입 시 하드웨어 스펙 외에 AI stack(Training/Inference)의 벤더 종속성 및 Roadmap 검토
2. Vision-only 시스템의 한계를 분석하고 Tactile Feedback 도입이 필요한 Edge Case 식별
3. 실물 장비 기반의 데이터 수집 비용 절감을 위해 Synthetic Data 및 VR-based Teleoperation 적용 검토