Dataframe 1.0.0.0

Context

기존 Dataframe 구현은 탐색적 분석 중심으로 스키마 검증이 런타임에만 가능했고, 메모리 크기를 초과하는 데이터셋을 처리할 수 없었습니다.

Technical Solution

• Typed API 도입: DataFrame.Typed API로 컬럼명, 스키마 전체를 컴파일 타임에 추적하며 misapplied operations를 컴파일 에러로 감지
• 스키마 자동 도출: $(DT.deriveSchemaFromCsvFile)로 CSV 파일에서 Housing 스키마를 타입 레벨에서 자동 생성
• Lazy 쿼리 엔진 구현: 메모리 크기를 초과하는 데이터셋에 대해 쿼리 기반 지연 평가 방식으로 변경
• Apache Arrow C Data Interface 지원: Polars 등 다른 언어의 데이터프레임과 상호운용 가능하도록 표준 인터페이스 구현
• Hugging Face 데이터셋 직접 읽기: "hf://datasets/..." 형식의 경로로 Parquet 파일을 직접 로드 가능
• 연산자 개선: ./ (null-aware 나눗셈), .^ (수치 승격 지원)으로 Happy Path 계산 문법 간결화

Impact

1억 행 규모 데이터셋을 Mac에서 약 10분, 12년 전 Dell 서버에서 약 30분 내에 처리 가능 (Out-of-Memory 없음)

Key Takeaway

Haskell의 타입 시스템을 Dataframe 스키마 검증에 활용하면 탐색적 분석과 프로덕션 파이프라인을 동일한 API로 안전하게 통합할 수 있으며, Lazy 평가를 통해 메모리 제약 없이 대규모 데이터 처리가 가능합니다.