Databricks가 Hugging Face Datasets에 from_spark() 함수를 추가해 Spark 데이터프레임을 직접 변환, 16GB 데이터셋 처리 시간 22분에서 12분으로 45% 단축
Databricks ❤️ Hugging Face: up to 40% faster training and tuning of Large Language Models
컬리 기술블로그컬리의 BigQuery 도입기 - 1부
컬리가 BigQuery 도입으로 기존 데이터 파이프라인의 20분~1시간 지연시간과 스토리지 부족 문제 해결