Hugging Face가 datasets 라이브러리의 스트리밍 백엔드를 재설계해 초기 요청을 100배 감소, 데이터 파일 해석 시간을 10배 단축, 처리 속도를 2배 향상
Streaming datasets: 100x More Efficient
LeRobot이 LeRobotDataset v3.0과 Processors 파이프라인을 도입해 400GB 규모 로봇 학습 데이터셋 처리 및 멀티-GPU 분산 훈련 지원
LeRobot v0.4.0: Supercharging OSS Robot Learning
NVIDIA가 6백만 건 규모의 다국어 추론 데이터셋을 5개 언어로 번역·공개하면서 오픈 생태계 LLM 학습 데이터 표준화
NVIDIA Releases 6 Million Multi-Lingual Reasoning Dataset
Yaak과 Hugging Face LeRobot 팀이 독일 30개 도시의 60대 전기차에서 수집한 90+ TB 멀티모달 데이터로 세계 최대 규모 자율주행 오픈소스 데이터셋 L2D 공개
LeRobot goes to driving school: World’s largest open-source self-driving dataset
Open R1 프로젝트가 512개 H100 GPU에서 SGLang을 도입해 생성 속도를 2배 향상시켜 800k개의 DeepSeek R1 추론 트레이스 생성
Open R1: Update #2
CinePile 팀이 적대적 데이터셋 정제(adversarial dataset refinement) 방식으로 장문 비디오 QA 데이터셋을 재구성해 CinePile 2.0 출시
CinePile 2.0 - making stronger datasets with adversarial refinement
PLeiAs가 YouTube-Commons의 1.9M 영상을 43k 영상으로 필터링하고 Gemini 1.5로 주석 처리해 3.4k시간 분량의 FineVideo 데이터셋 구축
FineVideo: behind the scenes
Microsoft 연구팀이 DocVQA 데이터셋을 2.4백만 개 이미지 및 9.5백만 개 Q/A 쌍으로 240배 확대하여 Florence-2 모델의 성능을 20% 향상
Docmatix - a huge dataset for Document Visual Question Answering
Hugging Face와 Argilla가 협력하여 10,000개의 프롬프트 데이터셋을 구축하고 18개 언어로 다국어 확대를 진행한 오픈소스 데이터셋 구축 사례
Data Is Better Together: A Look Back and Forward
BigCode가 StarCoder2와 The Stack v2를 공개해 600+ 프로그래밍 언어 4조 개 토큰 학습으로 33B+ 모델 수준의 성능을 15B 파라미터로 달성
StarCoder2 and The Stack v2
Hugging Face가 DataCite와 파트너십을 통해 모델과 데이터셋에 DOI(Digital Object Identifier) 생성 기능을 제공하여 연구 커뮤니티에서의 인용 및 영구 참조 가능
Introducing DOI: the Digital Object Identifier to Datasets and Models