소셜 미디어 스크래핑과 속도 기반 분석으로 주류 미디어 유행보다 며칠 앞서 트렌드 감지

Context

소셜 미디어는 주류 미디어보다 먼저 트렌드가 나타나는 특성이 있지만, 체계적인 수집 및 분석 방법이 없으면 이 신호를 놓치기 쉽다.

Technical Solution

• SQLite 데이터베이스에 플랫폼별 멘션 저장: platform, keyword, content, engagement, timestamp, url을 수집해 idx_kw 인덱스로 keyword와 timestamp 기반 조회 최적화
• Reddit 웹 스크래핑으로 키워드별 게시물 수집: BeautifulSoup으로 old.reddit.com의 주간 검색 결과를 파싱해 제목, 스코어, URL 추출
• VelocityEngine으로 멘션 가속도 계산: 과거 24시간 vs 현재 24시간 멘션 수의 비율 변화를 (현재 - 과거) / 과거로 산출
• engagement_velocity로 상호작용량 기반 가속도 계산: 동일 기간별 engagement 합계의 변화율 비교
• BreakoutDetector로 트렌드 상승 여부 판단: 멘션 속도(40%) + engagement 속도(60%) 가중합을 threshold(기본값 0.5) 비교해 상위 키워드 도출
• Forecaster로 7일 데이터 기반 미래 예측: 일별 멘션 수에 선형회귀를 적용해 기울기를 통해 가속(>0.15), 성장(>0.05), 안정(-0.05~0.05), 하강 분류

Key Takeaway

트렌드 탐지는 절대량이 아닌 변화율(속도)에 집중해야 하며, 멘션 수와 engagement를 분리해 측정하면 신호의 신뢰도를 높일 수 있다.