시간당 5천만 건 소셜 데이터 분석, LunarCrush API 기반 실시간 센티먼트 트래커 구현

Context

뉴스 헤드라인 중심의 단편적인 정보 습득 한계. 대중의 실제 여론을 파악하기 위한 실시간 소셜 데이터 통합 분석 필요성 대두. 플랫폼별 분산된 데이터의 효율적인 수집 및 감성 분석 구조 요구.

Technical Solution

• Node.js 기반의 경량 스크립트를 활용한 LunarCrush API 연동 구조
• 특정 키워드에 대한 소셜 볼륨, 참여도, Bullish 센티먼트 지표를 추출하는 데이터 파이프라인 설계
• X, Reddit, TikTok 등 다양한 플랫폼의 데이터를 통합하여 플랫폼 간 여론 차이를 비교 분석하는 로직 구현
• 로컬 JSON 파일 기반의 상태 관리 시스템을 구축하여 이전 센티먼트 값과 현재 값의 변동폭을 추적하는 방식
• Crontab을 이용한 주기적 실행 및 센티먼트 변화량 10% 초과 시 알림을 발생시키는 이벤트 기반 모니터링 전략

Impact

• 시간당 50M+ 이상의 소셜 포스트 처리량 확보
• 10K+ 개 이상의 뉴스 소스 데이터 통합
• 24시간 기준 약 847,291건의 포스트와 2.3B 건의 참여도 데이터 분석 가능

Key Takeaway

외부 API의 고도화된 집계 데이터를 활용하여 복잡한 데이터 전처리와 NLP 분석 과정을 단순화하고 실시간 모니터링 시스템으로 빠르게 전환하는 설계 전략.