Local LLM 통합 및 CLI 채널 확장을 통한 스크래핑 효율 최적화

Context

AI 에이전트 중심의 MCP 구조는 동적 도구 선택에는 유리하나 Cron job이나 CI 단계와 같은 정적 자동화 파이프라인에서는 과도한 핸드쉐이크 오버헤드 발생. 외부 LLM API 의존으로 인한 데이터 유출 위험 및 토큰 비용 증가라는 제약 사항 존재.

Technical Solution

• MCP 기반 JSON-RPC 통신 외에 표준 HTTPS 및 stdout을 사용하는 전용 CLI 채널을 추가하여 데이터 파이프라인의 단순화 구현
• Ollama 기반 Local LLM 추론 엔진을 기본 Provider로 채택하여 외부 API 호출 없는 로컬 데이터 추출 구조 설계
• 정형 데이터 추출을 위해 URL과 Schema를 입력받아 JSON을 반환하는 Provider-agnostic 인터페이스 구축
• 빈번한 요청 대상인 10개 주요 사이트에 대해 CSS Selector를 추상화한 Pre-built Template 적용으로 개발 공수 제거
• Local LLM(저비용/프라이버시)과 Frontier Model(고성능/복잡한 추론) 간의 선택적 스위칭 파라미터 제공을 통한 Trade-off 최적화