C-Extension 기반 Zero-Copy 설계로 데이터 Ingestion 속도 24.5배 향상

Context

Pandas 및 NumPy 등 범용 라이브러리의 높은 Abstraction Tax로 인한 데이터 처리 지연 발생. GIL 제약과 반복적인 Memory Copy로 인해 High-entropy 환경에서 하드웨어 자원 효율성이 저하되는 한계 직면.

Technical Solution

• mmap 활용으로 파일을 주소 공간에 직접 매핑하여 Load-to-buffer 단계를 제거한 Zero-Copy Memory 구현
• 범용 atof 함수 대신 특정 데이터 타입에 최적화된 Manual C-Parsing 로직을 설계하여 파싱 오버헤드 최소화
• 전용 C-thread 내 Ingestion 프로세스를 실행하여 Python GIL을 Bypass하고 CPU 물리 성능 극대화
• High-level logic은 Python이 관리하고 Low-level 연산은 C-extension이 처리하는 계층 분리 구조 채택

Impact

• 10M Rows 처리 시간: 7.75s에서 0.31s로 단축 (24.5배 가속)
• Latency: 기존 대비 96.4% 감소
• Throughput: ~94 MB/s에서 ~2.3 GB/s로 약 24배 증가
• 비용 효율: 단일 파이프라인 기준 연간 $226.21의 Compute 비용 절감

Key Takeaway

추상화 계층의 편의성이 성능 병목의 원인이 될 수 있음을 인지하고, 극단적인 Throughput이 필요한 지점에서는 하드웨어 제어권이 높은 저수준 언어로의 최적화가 필수적임.