피드로 돌아가기
Dev.toInfrastructure
원문 읽기
Consistent Hashing을 통한 데이터 재배치 최소화 및 분산 시스템 확장성 확보
Hashing in Distributed Systems: A Complete Guide to Algorithms, Best Practices, and Real-World Applications
AI 요약
Context
Modulo-based Hashing 구조에서 노드 수 변경 시 발생하는 전수 재매핑(Rehashing) 문제 분석. 노드 추가 및 제거 시 대규모 Cache Invalidation과 세션 유실로 인한 성능 저하 및 가용성 저하 발생.
Technical Solution
- Circular Hash Ring 구조 도입을 통한 키와 노드의 논리적 배치 설계
- 노드 변경 시 전체 키의 k/n개만 재매핑하는 알고리즘 적용으로 데이터 이동 최소화
- Virtual Nodes 기법을 활용하여 물리 노드 간 데이터 불균형(Hotspots) 해결 및 부하 분산 최적화
- Bounded Loads 설계를 통한 특정 노드에 집중되는 트래픽의 상한선 제어
- Rendezvous Hashing 및 Maglev 알고리즘을 통한 Lookup Latency와 메모리 사용량의 Trade-off 최적화
- 노드 사양에 따른 Weighted Hashing 적용으로 하드웨어 리소스 활용률 극대화
실천 포인트
1. 노드 변경이 잦은 동적 클러스터 환경에서 Modulo Hashing 사용 금지
2. 데이터 불균형 방지를 위해 물리 노드당 적절한 수의 Virtual Nodes 설정 검토
3. 100개 이상의 대규모 노드 구성 시 O(N) 비용이 발생하는 HRW 알고리즘 지양
4. CPU/Memory 사양이 다른 이기종 노드 구성 시 가중치 기반 vnode 할당 적용