Yaak과 Hugging Face LeRobot 팀이 독일 30개 도시의 60대 전기차에서 수집한 90+ TB 멀티모달 데이터로 세계 최대 규모 자율주행 오픈소스 데이터셋 L2D 공개

Context

자율주행 로봇 분야에서 엔드-투-엔드 AI 모델 채택률이 낮은 이유는 OXE 같은 대규모 고품질 멀티모달 데이터셋 부족 때문이었다. 기존 WAYMO, NuScenes, COMMA 등의 공개 데이터셋은 최대 33시간 규모에 불과해 다양한 주행 시나리오와 정책(정문가/초급자) 커버 범위가 제한적이었다.

Technical Solution

• 6개의 RGB 카메라, GPS, IMU, CAN 인터페이스(속도/가스/브레이크/스티어링/기어/턴시그널) 동일한 센서 스위트를 60대 전기차에 장착해 데이터 수집 표준화
• 5000시간+ 이상의 주행 데이터를 3년에 걸쳐 독일 30개 도시에서 수집해 고속도로 차선변경, 회전교차로, 선로 횡단 등 EU 운전면허 필수 시나리오 전수 포함
• 전문 운전강사(10,000시간+ 경험) 정책과 초급자 운전자(10~50시간 경험) 정책을 별도 그룹으로 분리 수집해 최적 행동과 서브옵티말 행동의 대조 학습 데이터 제공
• 자연언어 지시문("신호가 초록색이 될 때 트램 선로를 건너고 회전교차로를 통과하세요")과 OpenStreetMap 그래프에 스냅된 미래 웨이포인트를 각 에피소드마다 주석 추가
• 환경 상태(차선 수, 도로 유형/표면), 기후 조건(강수량, 눈/맑음/비), 조명(새벽/낮/황혼)을 정량적으로 기록해 다양한 주행 조건 데이터 확보
• NVIDIA Jetson AGX Xavier 온보드 컴퓨팅(100 TOPS), 8개 1080p30 H.265 비디오 인코더, PCIe Gen4 SSD 스토리지를 활용한 실시간 데이터 수집 인프라 구축

Impact

수집 데이터 규모: 90+ TB(1,000,000 에피소드, 5000+ 시간) vs 기존 최대값 33 TB/시간 미만 규모 데이터셋들

Key Takeaway

엔드-투-엔드 공간 지능 모델 학습을 위해 동일한 센서 스위트로 장기간 수집한 대규모 데이터셋과 정문가/초급자 정책 분리, 자연언어 주석이 필수적이며, 소스 버전 관리 원칙을 도입해 커뮤니티 기여를 통한 지속적 데이터셋 확장 구조가 오픈소스 AI 인프라 구축의 핵심이다.