연 비용 2,400만 원을 0.02달러로 대체한 금융 감성 분석기 설계

Context

고가의 Bloomberg Terminal 비용 부담과 기존 API의 단순한 감성 분석 한계 직면. 텍스트의 맥락을 무시한 규칙 기반 모델의 낮은 정확도로 인한 잘못된 투자 신호 발생 문제 해결 필요.

Technical Solution

• Yahoo Finance, Google News, SEC EDGAR 등 다중 소스를 조합한 데이터 수집 파이프라인 구축
• VADER의 빠른 속도와 LLM의 정밀한 문맥 이해 능력을 결합한 하이브리드 분석 전략 채택
• 매체별 신뢰도(Reuters 0.90, 블로그 0.40)를 가중치로 적용한 Composite Score 산출 로직 설계
• Title, Source, Ticker 기반의 해싱 기법을 적용하여 중복 기사 95% 이상 제거
• SEC EDGAR의 엄격한 요청 제한 대응을 위해 Rate Limiting 및 User-Agent 헤더 최적화 적용
• 금융 특화 단어(Downgrade, Dilution 등)를 포함한 커스텀 Lexicon을 VADER에 추가하여 기본 성능 보완

Impact

• 분석 비용: 기사당 0.02달러(VADER) ~ 0.05달러(LLM) 수준으로 절감
• 처리 속도: VADER 모델 기준 기사당 약 1ms의 지연 시간 달성
• 경제성: Bloomberg 대비 0.001%의 비용으로 핵심 감성 데이터 확보

Key Takeaway

비용과 정확도의 트레이드오프를 해결하기 위해 저비용 필터링(VADER) 후 고비용 정밀 분석(LLM)을 수행하는 계층적 처리 구조의 효율성 확인.