Single-threaded Event Loop 기반 Redis의 Big Key 제거를 통한 공유 환경 Latency 최적화

Context

다중 마이크로서비스 및 테넌트가 공유하는 Redis 인스턴스에서 단일 Big Key 처리가 전체 시스템의 병목으로 작용함. Redis의 Single-threaded 데이터 처리 구조로 인해 거대 키 연산 시 Event Loop가 점유되어 타 서비스의 요청까지 모두 블로킹되는 구조적 한계가 존재함.

Technical Solution

• O(N) 복잡도를 갖는 LRANGE, SMEMBERS, HGETALL 등 블로킹 명령어를 지양하고 SCAN 기반의 비동기 탐색 구조로 전환
• 거대 Hash 구조를 다수의 작은 키로 분산하는 Sharding 기법을 적용하여 단일 키 처리 시간을 단축하고 병렬성 확보
• 모든 키에 TTL 설정을 강제하여 데이터 무한 증식으로 인한 Big Key 생성 가능성을 원천적으로 차단
• maxmemory-policy를 allkeys-lru로 설정하여 메모리 임계치 도달 시 효율적인 Eviction 메커니즘 구축
• Redis 7.0+의 Listpack 도입 등 내부 데이터 구조 최적화 버전을 활용하여 메모리 효율성 제고