Parquet 대비 Read 50배, JSON 대비 크기 10배 절감한 Binary Format KORE

Context

CSV, JSON, Parquet 등 기존 파일 포맷의 비효율적인 데이터 처리와 메모리 과소비로 인한 병목 현상 발생. 현대적인 데이터 워크로드 환경에서 텍스트 기반 포맷의 Bloat 문제와 분석용 포맷의 읽기/쓰기 속도 저하가 주요 제약 사항으로 작용.

Technical Solution

• Rust 기반의 Binary encoding 설계를 통한 텍스트 오버헤드 제거 및 원시 처리 속도 극대화
• Time-series 데이터 최적화를 위한 Delta encoding 적용으로 저장 효율성 증대
• Categorical columns 대상 Dictionary compression을 통한 데이터 중복 최소화
• Intelligent type inference 메커니즘을 통한 런타임 타입 처리 오버헤드 감소
• Parallel reads 지원 구조를 설계하여 Read throughput 9,000 MB/s 달성
• 8개 언어의 동일 API Ecosystem 구축을 통한 다국어 환경의 데이터 상호운용성 확보