분산 메타데이터 분산 처리를 통한 1,000억 개 객체 Listing 최적화 분석

Context

단일 객체 Read와 달리 Listing 작업은 특정 Prefix에 해당하는 모든 객체를 찾아야 하는 범위 쿼리 특성을 가짐. 데이터 규모가 수십억 개 단위로 확장됨에 따라 메타데이터가 여러 파티션과 노드에 분산되어 단일 노드에서 전체 상태를 파악하기 어려운 구조적 한계 존재.

Technical Solution

• 특정 객체 위치만 찾는 Targeted Lookup 방식에서 벗어나 다수 Metadata Partition에서 결과를 수집하는 분산 쿼리 구조 설계
• 여러 노드에서 수집된 partial result를 병합하고 정렬하며 중복을 제거하는 Merge-Sort 기반의 결과 집계 프로세스 구현
• 가용성과 성능 최적화를 위해 Metadata 업데이트의 완전한 수렴 전까지 일시적인 불일치를 허용하는 Eventual Consistency 모델 채택
• 시스템 부하 방지를 위해 전체 목록을 한 번에 반환하지 않고 나누어 제공하는 Pagination 메커니즘 적용
• 데이터 자체의 이동보다 데이터에 대한 정보인 Metadata 관리 효율성을 중심으로 한 아키텍처 설계 주력