murrdb/murr - ML/AI 워크로드용 서브 밀리초 캐시

Context

AI 추론 워크로드에서 발생하는 대용량 Tabular 데이터 서빙 시 Redis의 높은 메모리 비용과 DynamoDB의 쿼리당 과금 체계로 인한 비용 효율성 저하 문제 발생. 특히 무거운 Parquet 데이터셋을 추론 앱으로 전달하는 과정에서 발생하는 데이터 변환 오버헤드와 메모리 병목 해결 필요.

Technical Solution

• RocksDB 기반 NVMe/S3 Tiered Storage 구조 설계를 통한 핫/콜드 데이터 분리 관리 및 비용 최적화
• Parquet 입력 및 Arrow-Flight 출력 방식을 채택한 Zero-copy 와이어 프로토콜 구현으로 데이터 직렬화/역직렬화 오버헤드 제거
• Stateless 설계를 통한 S3 기반 상태 보존 및 블록 스토리지 자체 부트스트랩 구조로 노드 장애 시 빠른 복구 능력 확보
• Columnar 저장 방식 기반의 배치 처리 최적화를 통한 행 단위 접근 오버헤드 최소화 및 Sparse columns의 저장 공간 효율화
• Python 생태계의 Numpy, Pandas, Pytorch 배열과 직접 매핑되는 First-class 지원으로 데이터 처리 파이프라인 간소화

Impact

• Packed-blob 읽기 작업 시 Redis 대비 약 3배 성능 향상
• Feast 스타일 HSET 작업 시 Redis 대비 약 12배 성능 향상
• Redis 대비 RAM 사용량 약 3배 절감
• DynamoDB 대비 CPU/RAM 기반 과금 모델 적용으로 비용 약 10배 절감