NVIDIA가 DGX Spark와 Reachy Mini를 결합해 로컬 하드웨어에서 구동하는 자율 에이전트 시스템 구현

Context

기존 AI 에이전트는 폐쇄형 인터페이스로 제한되어 있으며, 사용자가 모델·프롬프트·로봇의 행동을 제어할 수 없다는 문제가 있었다. 특히 개별 사용자가 데이터 프라이버시를 보장하면서 자신만의 에이전트를 구축하기는 어려웠다.

Technical Solution

• Nemotron 3 Nano(추론 모델) + Nemotron Nano 2 VL(비전 모델) + ElevenLabs(텍스트-음성)를 조합해 멀티모달 에이전트 구축
• NVIDIA NeMo Agent Toolkit을 프레임워크로 사용해 모델 간 라우팅·입출력 관리 및 도구 핸들링을 통합
• 로컬 배포(DGX Spark에서 ~65GB 디스크 공간으로 추론 모델, ~28GB로 비전 모델 실행) 또는 클라우드 배포(NVIDIA Brev, Hugging Face Inference Endpoints) 지원
• Reachy Mini의 센서·액추에이터·API를 Python에서 직접 제어 가능하도록 구성해 물리적 에이전트의 인지·추론·행동을 통합
• NeMo Agent Toolkit의 nat serve 명령어로 HTTP/WebSocket 기반 채팅 인터페이스 제공 및 토큰 사용량·레이턴시 프로파일링 기능 내장

Key Takeaway

폐쇄형 개인 어시스턴트 대신 오픈소스 모델·프레임워크·로봇 하드웨어를 느슨하게 결합한 구조로 설계하면, 사용자가 데이터 흐름·도구 권한·로봇 행동에 대한 완전한 가시성과 제어권을 확보할 수 있다.