다국가 데이터 파이프라인과 3D 시각화로 구현한 내러티브 분석 맵

Context

단일 국가 관점의 검색 결과는 글로벌 이슈 분석 시 편향된 정보만 제공하는 한계 존재. 단순 검색을 넘어 국가별 프레임 차이와 근거 데이터를 시각적으로 분석하는 도구 필요.

Technical Solution

• Bright Data Discover API와 Tavily를 병렬로 호출하여 다국가 관점의 검색 결과를 통합하는 Fan-out 구조 설계
• 검색 결과 URL에서 실제 본문을 추출하여 LLM에 전달하는 Grounded Evidence 레이어 구축
• LLM의 낮은 국가 커버리지 출력을 방지하기 위해 증거 데이터 수와 출력 결과 수를 비교하여 재시도하는 Recovery Strategy 적용
• 데이터 투명성 확보를 위해 검색 제공자와 스크래핑 경로를 명시하는 Provenance 모델 설계
• Three.js와 three-globe를 활용해 내러티브 강도와 신뢰도를 공간적 멘탈 모델로 변환하는 시각화 레이어 구현
• API 비용 절감 및 응답 속도 개선을 위해 파이프라인 단계별 In-memory Caching 전략 적용

Key Takeaway

LLM의 출력을 맹신하지 않고 실제 데이터(Evidence) 기반의 검증 로직을 파이프라인에 통합하여 결과의 무결성을 확보하는 설계 원칙.