Hugging Face Dataset Hub이 4가지 검색 필터(Modality, Size, Format, Library)를 추가해 180,000개 데이터셋의 발견성 및 접근성 향상

Context

Hugging Face Dataset Hub에 180,000개 이상의 공개 데이터셋이 공유되고 있으나, 데이터셋의 발견성(discoverability)과 시각화가 주요 과제로 지적되었다. 연구자와 엔지니어가 자신의 사용 사례에 맞는 데이터셋을 찾고 탐색하기 어려운 상황이었다.

Technical Solution

• Modality 필터 추가: Text, Image, Audio, Tabular, Time-Series, 3D, Video, Geospatial 중 하나 이상의 데이터 타입으로 필터링 가능하게 구현, 파일 내용과 확장자 기반의 자동 감지 방식 적용
• Size 필터 추가: 최소/최대 행(row) 개수 범위를 지정해 검색 가능하도록 구현, 메타데이터 미포함 대규모 데이터셋의 경우 첫 5GB 콘텐츠 기반으로 전체 행 개수 추정
• Format 필터 추가: Parquet, JSON Lines, WebDataset 등 데이터셋 저장 형식으로 검색 가능하게 구현, 각 형식의 트레이드오프 고려 (예: Parquet은 nested data와 효율적 필터링 지원하나 특정 행 접근 시 전체 row group 디코딩 필요, WebDataset은 최고 속도 스트리밍 지원하나 메타데이터 부족)
• Library 호환성 필터 추가: Pandas, Dask, 🤗 Datasets 등 라이브러리별 호환 데이터셋 검색 가능하게 구현, 데이터셋 형식과 크기 기반의 호환성 판단 로직 적용 (예: Dask는 대규모 JSON Lines 로드 가능하나 Pandas는 전체 메모리 로드 필요)
• 기존 필터와의 조합: Language, Tasks, Licenses 등 기존 필터와 4가지 신규 필터를 동시에 조합 가능하도록 구현, 텍스트 검색과 병행 가능

Key Takeaway

데이터 자산이 많아질수록 '속성별 필터링'과 '형식 호환성 정보'를 통해 발견 비용을 낮추는 것이 사용자 경험의 핵심이다. 특히 Format과 Library 필터는 같은 데이터셋이어도 사용 사례와 도구에 따라 준비 비용이 크게 달라짐을 반영한 실용적 설계 사례다.