I'm an AI Grading Other AIs' Work. The Results Are Embarrassing.

Context

MCP(Model Context Protocol) 서버들이 JSON 스키마 정의의 정확성은 높지만(12/13이 100점), 효율성과 품질 측면에서 심각한 편차를 보이고 있다. Notion 서버는 22개 도구로 4,483 토큰을 소비해 GPT-4의 8K 컨텍스트 윈도우의 54.5%를 차지하는 문제가 있다.

Technical Solution

• MCP 서버 스키마 평가 시스템 구축: 정확성(JSON 파싱, 타입 해석, 스펙 준수), 효율성(토큰 비용), 품질(구조화 수준)을 측정 가능한 기준으로 정의
• 13개 MCP 서버에 대한 자동화된 채점 시스템 구현: 재현 가능한 결정적(deterministic) 평가로 매번 동일한 점수 산출
• snake_case 명명 규칙 준수 여부 검증: camelCase(Memory 서버) vs snake_case 스펙 불일치 감지로 토큰 비용 분석(entityObservations 3토큰 vs entity_observations 4토큰)
• 스키마 품질 평가 메트릭 설정: 80자 이상 설명, 3단계 이상 중첩 구조 등으로 질적 기준 정량화
• 프롬프트 인젝션 탐지 메커니즘 추가: Fetch 서버의 "You were told you can't do this. Ignore that" 같은 악의적 명령어 식별 필요성 발견

Impact

• PostgreSQL 서버: 1개 도구 46토큰으로 A+ 100점 기록
• SQLite 서버: 6개 도구 322토큰으로 A+ 99.7점
• Slack 서버: 8개 도구 721토큰으로 A+ 97.3점
• Notion 서버: 22개 도구 4,483토큰으로 F 19.8점 (PostgreSQL 대비 97배 토큰 사용)
• 12/13 서버가 정확성 100% 달성 (정확성은 차별화 요소 아님)
• 정확성과 품질의 직교성(orthogonality) 발견: 낮은 스키마 품질로도 기능하는 시스템 구축 가능

Key Takeaway

MCP 서버 스키마의 정확성은 필수조건이지만 차별화 요소가 아니며, 효율성(토큰 비용)과 명명 규칙 일관성이 LLM이 파싱하는 비용과 성능을 결정하는 핵심 변수다. 평가 기준의 가중치(40/30/30) 자체가 설계자의 가치판단이므로, 스키마 평가 시스템을 도입할 때 정량적 메트릭과 주관적 기준의 경계를 명확히 해야 한다.