Rust 포팅을 통한 p99 레이턴시 1.2s에서 38ms로의 극적 단축

Context

Scala 기반 Kafka Streams와 RocksDB를 사용한 분산 이벤트 처리 시스템에서 500k EPS 부하 시 p99 레이턴시 급증 및 JVM OOM 발생. G1GC의 잦은 Pause와 JIT 컴파일 스톨로 인한 예측 불가능한 성능 저하가 임계점에 도달한 상황.

Technical Solution

• Predictable Latency 확보를 위해 JVM의 GC 오버헤드를 완전히 제거한 Rust 기반 Hot Path 재설계
• Tokio Async Runtime을 도입하여 고성능 비동기 이벤트 라우팅 및 집계 로직 구현
• RocksDB의 Blocking fsync 병목 해결을 위해 500ms 주기로 Disk Flush를 수행하는 sled 임베디드 KV 스토어 채택
• LLVM의 SIMD 명령어를 활용한 Join 연산 최적화로 CPU 처리 시간 50% 절감
• Schema Validation 및 REST Endpoint는 기존 Scala 레이어를 유지하며 핵심 처리 경로만 Rust로 분리한 하이브리드 구조 설계