X API 종속성 제거와 AI 요약을 통한 고밀도 소셜 모니터링 시스템 구현

Context

기존 X/Twitter 네이티브 알림 및 상용 도구의 높은 API 비용과 낮은 데이터 커버리지 문제 분석. 키워드 확장 시 발생하는 정보 과부하(Firehose)로 인한 실시간 모니터링의 효율성 저하 및 태그 누락으로 인한 40~60%의 데이터 손실 발생.

Technical Solution

• X API 의존성을 완전히 제거한 독자적 Scraping Pipeline 구축을 통한 인프라 비용 절감 및 진입 장벽 제거
• LLM 기반의 Two-pass Model Architecture를 적용하여 단순 수집을 넘어선 고차원적 데이터 분류 및 요약 수행
• 5가지 세분화된 Sentiment Categories(Positive, Negative, Angry, Excited, Neutral) 정의를 통한 정밀한 감성 분석 체계 구축
• 7일 이동 평균(Rolling 7-day baseline) 대비 3배 초과 시 작동하는 Spike Alert 로직을 통한 이상 징후 탐지
• Daily Digest 구조 설계를 통한 실시간 알림의 피로도를 낮추고 정보 밀도를 극대화한 Push 기반 전달 체계 구현

Impact

• 8~15%에 달하는 브랜드 오타(Misspellings) 언급분까지 캡처하여 데이터 수집 범위 확장
• 7일 기준 3x 볼륨 임계치 초과 시 1시간 이내에 Spike Alert 발송
• 기존 상용 도구 대비 시작 가격을 $9/mo 수준으로 낮추어 비용 효율성 확보

Key Takeaway

실시간 스트리밍 데이터의 과부하 문제를 해결하기 위해 '실시간 알림'에서 '구조화된 배치 요약'으로 인터페이스를 전환함으로써 사용자 인지 부하를 줄이고 정보 가치를 높인 설계 사례.