KeyDB 전환을 통한 처리량 5배 증가 및 인프라 비용 70% 절감

Context

12개 노드로 구성된 Redis 클러스터의 Single-threaded 구조로 인한 CPU 병목 발생. 특히 고부하 상황에서 특정 명령어가 전체 요청을 차단하여 P99 Latency가 2ms에서 50ms까지 튀는 불안정성 노출.

Technical Solution

• Redis Protocol과의 완전 호환성을 유지하며 Application 변경 없는 Drop-in Replacement 구현
• Connection당 전용 Thread를 할당하는 Multi-threaded 아키텍처로의 전환을 통한 병렬 처리 구조 채택
• Thread-safe Key-space 설계를 통해 서로 다른 Key에 대한 요청은 완전 병렬로 처리하여 CPU 코어 활용도 극대화
• 동일 Key 접근 시에만 Serialization을 수행하는 Key-level Lock 메커니즘으로 데이터 일관성 유지
• 기존의 Scale-out(노드 확장) 전략에서 효율적인 소프트웨어를 통한 Scale-up 전략으로 설계 패러다임 변경

Impact

• 처리량: 180k ops/sec (12 nodes) $\rightarrow$ 850k ops/sec (3 nodes)로 약 4.7배 증가
• 응답 속도: P99 Latency 12ms~50ms $\rightarrow$ 2ms로 안정화
• 인프라 비용: 월 $8,400에서 약 70% 절감
• 운영 효율: 노드 수 12개에서 3개로 축소하여 Capacity Planning 공수 감소

Key Takeaway

단순한 노드 확장보다 병목 지점(Single-thread)을 해결하는 아키텍처 최적화가 훨씬 높은 효율을 제공하며, 호환 프로토콜을 활용한 교체는 마이그레이션 리스크를 최소화하면서 성능적 도약을 가능케 함.