27개 OSINT 소스 통합 및 LLM 기반 교차 분석 파이프라인 구축

Context

다양한 소스의 데이터를 수동으로 확인하며 발생하는 30분 이상의 시간 낭비와 정보 파편화 문제 해결 필요. 단일 소스 툴의 한계로 인한 통합적 상황 인식 체계 부재를 극복하기 위한 설계.

Technical Solution

• 27개 서로 다른 데이터 소스를 15분 주기로 폴링하는 스케줄러 기반 데이터 수집 구조 설계
• 이기종 데이터 소스의 파편화된 정보를 통합하기 위한 Common Event Format 기반의 데이터 Normalization 프로세스 구현
• 8개 LLM Provider를 선택적으로 활용하여 소스 간 패턴을 교차 참조하는 AI Synthesis Layer 구축
• GDELT, AIS, FRED 등 서로 다른 도메인 데이터 간의 상관관계를 분석하여 통합 브리핑을 생성하는 Correlation 로직 적용
• 설정된 임계치 초과 시 Telegram 및 Discord Bot을 통해 실시간으로 전송하는 Event-Driven Alert 시스템 구성

Impact

• 매일 아침 반복되던 30분 이상의 수동 데이터 확인 작업을 자동화된 실시간 대시보드로 대체