🤗 datasets 라이브러리가 Image 기능 타입을 추가하여 대규모 이미지 데이터셋을 메모리 효율적으로 로드하고 faiss 인덱스로 이미지 검색 기능 구현

Context

🤗 datasets 라이브러리는 초기에 텍스트 데이터 처리에 중점을 두었으나, 오디오 및 이미지 데이터에 대한 지원 요구가 증가했다. British Library의 디지털화된 도서 이미지 데이터셋(약 10,000개 샘플)은 OCR 기반 추출로 메타데이터가 제한되어 기존 태그 기반 검색보다 풍부한 검색 기능이 필요했다.

Technical Solution

• ImageFolder 로더를 통한 이미지 데이터셋 로드: 폴더 구조 기반 데이터셋을 직접 Dataset으로 변환하여 image, label 두 가지 feature 타입 생성
• Image feature 타입 설정: PIL.Image.Image 객체로 디코딩하거나 바이트 기반으로 처리하는 두 가지 모드 지원
• faiss 인덱스 통합: 데이터셋에 faiss "efficient similarity search and clustering of dense vectors" 인덱스를 추가하여 벡터 기반 검색 가능
• sentence_transformers를 이용한 임베딩: 이미지 및 텍스트를 동일 벡터 공간에서 인코딩하여 텍스트-이미지 검색 구현
• push_to_hub를 통한 데이터 이동성: 로컬 환경에서 처리한 데이터셋을 허브에 저장하여 다른 머신/세션 간 데이터 공유

Key Takeaway

이미지 데이터셋에 faiss 인덱스를 결합할 때는 사전에 모델의 배포 가능성과 입력 데이터의 윤리적 함의(식민지 시대 표현, 편향된 이미지)를 충분히 검토해야 한다. 특히 CLIP 같은 멀티모달 모델의 경우 model card의 out-of-scope 사항을 반드시 확인하고 도메인별 성능 평가 없이 프로덕션 배포를 피해야 한다.