단일 머신 처리 한계 극복을 위한 Partitioning과 Sharding의 전략적 선택

Context

데이터 규모 증가에 따른 쿼리 지연 시간 상승과 인프라 자원 고갈 문제 발생. 단순한 데이터 분할을 넘어 처리량(Throughput)과 저장 용량의 물리적 한계를 해결해야 하는 아키텍처적 요구사항 직면.

Technical Solution

• Query 효율화를 위해 시간/월 단위 Partitioning을 적용한 Partition Pruning 구현
• 오래된 데이터 삭제 시 CPU 부하를 방지하는 Partition Drop 방식의 데이터 보존 전략 채택
• 단일 머신의 CPU, RAM, Disk I/O 임계치 도달 시 데이터 세트를 물리적으로 분리하는 Sharding 전환
• User ID 기반의 Range 기반 분산 설계를 통한 Write Throughput 분산 처리
• Application Layer에서 복잡한 Join 로직을 직접 처리하여 분산 환경의 쿼리 제약 해결
• Shard Key의 정밀한 설계를 통해 특정 노드에 부하가 집중되는 Hotspot 현상 방지