비정형 스크래핑의 리스크, FastMCP 타입 기반 아키텍처로 해결함

Context

기존 Python 기반 BeautifulSoup 스크래핑 스크립트는 비정형 데이터 출력과 모호한 입력 처리가 문제임. AI 모델이 이러한 불안정한 데이터를 처리할 때 데이터 무결성 훼손 및 Prompt Injection 위험이 증가함.

Technical Solution

Model Context Protocol(MCP)과 FastMCP를 도입하여 아키텍처를 재설계함. Pydantic 기반의 Typed Payload를 적용하여 입력값(lat, lon)과 출력값(WeatherData)을 엄격히 제한함. 비동기 httpx 클라이언트를 사용하여 동기적 요청 체인의 병목을 제거함.

Impact

비정형 텍스트 응답을 정형화된 객체로 변경하여 시스템 예측 가능성을 확보함. 명확한 실행 경계를 설정하여 잘못된 요청의 유입을 차단함. 실패 지점을 명확히 정의하여 모니터링 및 롤백 가능성을 높임.

Key Takeaway

AI 에이전트와 외부 데이터 소스 사이에 엄격한 타입 계약(Contract)을 배치해야 함. 신뢰할 수 없는 HTML 데이터를 직접 AI 워크플로우에 전달하는 패턴을 지양함.