Serialization Tax 제거를 통한 CPU 오버헤드 80% 절감 및 Zero-Copy 실현

Context

분석 시스템 간 데이터 이동 시 각 시스템의 독자적 레이아웃으로 인한 반복적인 Serialization 및 Deserialization 발생. JDBC/ODBC 기반의 Row-based 전송 방식에 따른 막대한 CPU 자원 낭비와 데이터 처리 병목 현상 지속.

Technical Solution

• 언어 독립적인 표준 In-memory Columnar Format 정의를 통한 데이터 레이아웃 통일
• RAM 내 동일한 메모리 구조 공유로 데이터 복제 과정이 없는 Zero-Copy 데이터 전달 메커니즘 구현
• SIMD(Single Instruction, Multiple Data) 하드웨어 가속을 활용한 벡터화 연산 최적화
• Arrow Flight RPC 프로토콜 도입을 통한 네트워크 상의 Native Arrow Buffer 직접 전송
• ADBC(Arrow Database Connectivity) 표준 API 적용으로 Row-conversion 단계가 제거된 Columnar Stream 수신 구조 설계

Impact

• 데이터 워크플로우 내 CPU 점유율의 최대 80%를 차지하던 Serialization 비용 제거

Key Takeaway

데이터 전송 효율은 전송 속도보다 데이터 포맷의 일치 여부에 결정됨. 메모리 레이아웃을 표준화하여 데이터 변환 비용을 원천 제거하는 Zero-Copy 아키텍처 지향 필요.