Show GN: 트럼프 가라사대: 트럼프 발언 실시간 분석 및 한국 경제 영향 피드

Context

Truth Social 등의 원문을 직접 추적하기 어렵고, 기존 뉴스 기사는 가공 과정에서 수 시간의 지연이 발생한다. 트럼프의 발언 한마디가 국내 증시와 환율을 변동시키는 상황에서 개발자와 투자자들이 원문 기반의 신속한 경제 영향 분석을 필요로 한다.

Technical Solution

• 데이터 수집 레이어: Python과 APScheduler를 사용해 Truth Social API 및 RSS 채널을 1분 단위로 모니터링하여 Raw 데이터 수집
• 저장소 설계: 수집 데이터를 Oracle DB에 영구 저장하고 Redis Streams를 통해 비동기로 다음 파이프라인 단계에 전달
• 분석 레이어: Gemini 2.0 Flash 모델로 한국 경제/시장 영향 관점의 3~5문장 요약과 키워드 추출 수행
• 중복 제거: all-MiniLM-L6-v2 모델로 문장 임베딩을 생성하고 Qdrant 벡터 데이터베이스에서 코사인 유사도 0.85 기준으로 중복 필터링
• API 제공: 정제된 데이터를 클라이언트에 제공하는 최종 레이어 구성

Key Takeaway

다중 소스 데이터의 실시간 수집-분석-중복제거 파이프라인을 4개의 독립 레이어로 분리하면, 각 단계에서 기술을 최적화할 수 있다. 특히 Redis Streams와 벡터 DB를 결합하면 비동기 처리와 의미 기반 중복 제거를 동시에 달성할 수 있다.