Data Validation 파이프라인 구축을 통한 데이터 정제 및 분석 자동화
Build a Data Processor: Your First Real Python Project
추출 성능보다 중요한 데이터 분류, Triage 레이어로 해결하는 문서 파이프라인 최적화
Mixed document packs need triage before they need smarter extraction
SJF4J가 JSONPath 쿼리 엔진을 네이티브 Java 객체 그래프에서 직접 실행하도록 재설계해 Jayway JsonPath 대비 최대 7배 빠른 성능 달성
SJF4J vs Jayway JsonPath: Up to 7x Faster in Java Benchmarks
Dataframe 라이브러리가 Typed API 도입과 Lazy 쿼리 엔진 최적화로 스키마 컴파일 타임 검증 및 10억 행 데이터 처리 지원
Dataframe 1.0.0.0
Hugging Face와 Dask를 결합하여 100행 pandas 처리를 211백만행 클라우드 GPU 병렬 처리로 확장
Scaling AI-based Data Processing with Hugging Face + Dask
Hugging Face Hub이 DuckDB WASM 기반 SQL Console을 도입해 Parquet 형식의 데이터셋을 브라우저에서 직접 쿼리 가능하게 구현
Introducing the SQL Console on Datasets