Gemini 1.5 Pro 기반 Semantic Map 구조를 통한 Scraping 유지보수 비용 제거

Context

로그 파일 최적화 부족 및 Event Loop 정체로 인한 Background Worker 성능 저하 발생. 기존 DOM Selector 기반 Scraping 방식의 구조적 취약성으로 인해 웹 페이지 변경 시 스크립트가 파손되는 유지보수 병목 지점 노출.

Technical Solution

• Strict Log Rotation 및 Stagnant Worker Thread 강제 종료를 통한 시스템 리소스 회복
• Gemini 1.5 Pro의 Massive Context Window를 활용한 Unstructured HTML의 Semantic Map 처리
• Hardcoded Selector를 제거하고 LLM Inference Layer에서 데이터 추출을 수행하는 구조적 전환
• Schema 기반의 Dynamic Extraction 로직을 통해 DOM 구조 변경에 대응하는 유연성 확보
• 구조적 유지보수 부담을 개발자에서 AI 모델로 전이시킨 Low-Code Analytics 아키텍처 설계