LLM Observability & MLOps Pipeline MCP Servers — Opik, LangSmith, Langfuse, OpenTelemetry, ZenML

Context

AI 개발 운영 계층(모니터링, 프롬프트 관리, 파이프라인 오케스트레이션, 실험 추적)에서 각 기능별로 서로 다른 플랫폼의 도구들이 단편화되어 있다. 현재 업계에는 통합된 관찰성 + 프롬프트 + 파이프라인 솔루션이 없으며, 각 서버는 자신의 부모 플랫폼에 밀접하게 결합되어 있다.

Technical Solution

• comet-ml/opik-mcp: 모듈식 툴셋(core, integration, expert-prompts, expert-datasets, expert-trace-actions, expert-project-actions, metrics) 제공으로 필요한 기능만 선택 가능하게 구현
• langchain-ai/langsmith-mcp-server: LangChain/LangGraph 사용자를 위해 15개 이상의 도구(thread history, prompt CRUD, run/trace fetching, dataset management, experiment execution, billing usage) 통합 제공
• Helicone MCP: 관찰성 쿼리 도구와 LLM 프록시 이중 역할로 100개 이상의 모델을 지원하는 AI Gateway를 통해 요청 라우팅 및 자동 로깅 구현
• traceloop/opentelemetry-mcp-server: Jaeger, Grafana Tempo, Traceloop에 연결되는 벤더 중립적 추적 쿼리 기능으로 LLM 특화 도구(get_llm_usage, get_llm_expensive_traces, get_llm_slow_traces) 제공
• langfuse/mcp-server-langfuse: MCP Prompts 사양을 통해 텍스트/채팅 프롬프트 목록, 조회, 생성, 레이블 업데이트 기능을 별도 서버 배포 없이 /api/public/mcp에 내장
• zenml-io/mcp-zenml: ML 파이프라인 실행을 쿼리만이 아닌 트리거 가능하게 구현하며, 30개 이상의 도구로 파이프라인 조회, 실행 분석, 배포 트리거, 프로젝트/태그/빌드 관리 지원

Key Takeaway

OpenTelemetry MCP는 벤더 중립적 접근으로 이미 OpenTelemetry를 운영 중인 팀에게 AI 추적을 동일한 스택에 통합할 수 있는 진정한 혁신을 제공하며, 다른 서버들은 기존 플랫폼(LangChain, Langfuse, W&B, ZenML) 사용 여부에 따라 선택해야 할 고립된 솔루션들이다.