1B MAU 대응을 위한 26Tbps 대역폭 기반 실시간 추천 시스템 설계

Context

초대규모 트래픽 환경에서 단순 Social Graph 기반 피드 제공의 한계를 극복하고 알고리즘 중심의 초저지연 콘텐츠 배포 필요성 증대. 특히 10억 명 이상의 MAU가 생성하는 방대한 영상 데이터의 효율적 전송과 실시간 추천 피드백 루프 구현이 핵심 과제임.

Technical Solution

• Anycast 라우팅 기반 150개 도시 Edge PoP 배치를 통한 70% 이상의 비디오 트래픽 로컬 처리 구조 설계
• Two-tower Neural Network 모델의 Dot Product 연산을 통한 User State와 Video Feature 간 실시간 Relevance Score 산출
• Celebrity 계정(Fan-out on Write)과 일반 계정(Fan-out on Read)을 분리한 Hybrid Feed Assembly 전략으로 쓰기 증폭 문제 해결
• Kafka 기반 비동기 이벤트 버스를 통한 Write Path와 Read Path의 완전 분리로 서비스 간 결합도 제거 및 독립적 Scaling 확보
• 데이터 특성에 따라 Vitess(ACID), Redis(Low-latency), Cassandra(High-throughput)로 저장소를 세분화한 다층 스토리지 전략 채택