4천만 개 저장소 대상 다국어 메타데이터셋 구축 및 3종 분류기 앙상블 제공
Accelerating researchers and developers building multilingual AI with a new open dataset
메타의 1,600개 언어용 Omnilingual MT
메타가 1,600개 언어 기계번역 모델(OMT-LLaMA)을 개발했으나, 저자원 언어 데이터 수집 및 언어 식별 정확도 문제가 여전한 상황
HuggingFace와 IISc가 Vaani 데이터셋을 HuggingFace 플랫폼에 공개하여 인도의 54개 언어, 773개 지역, 80,000명 이상의 화자 데이터에 대한 접근성 확대
HuggingFace, IISc partner to supercharge model building on India's diverse languages
Hugging Face Hub이 Meta AI의 fastText 모델 157개 언어 버전과 언어 식별 모델을 공식 미러로 호스팅하여 단 몇 줄의 코드로 다운로드 및 활용 가능하게 통합
Welcome fastText to the Hugging Face Hub