ToolRank 스캐닝으로 4,162개 MCP 서버 중 73%가 AI 에이전트에 불가시 상태이며, 가시적인 1,122개 서버 중 평균 점수 84.7/100임을 실측

Context

MCP(Model Context Protocol) 서버 4,162개가 Smithery에 등록되어 있지만, 개별 서버의 도구 정의 품질을 측정할 방법이 없었다. AI 에이전트가 등록된 서버를 실제로 발견하고 선택할 수 있는지 여부를 파악할 객관적 기준이 부재했다.

Technical Solution

• ToolRank 오픈소스 스코링 엔진 구축: 14개 규칙 기반 점검으로 MCP 도구 정의를 4개 차원으로 평가
• Findability(25%) 차원: 레지스트리 노출도와 명명 규칙으로 에이전트의 발견 가능성 측정
• Clarity(35%) 차원: 설명 품질과 목적 문맥으로 에이전트의 이해도 측정
• Precision(25%) 차원: 타입, 열거형, 필수 필드 정의로 스키마 정확도 측정
• Efficiency(15%) 차원: 정의 크기와 도구 개수로 토큰 효율성 측정
• Smithery Registry API 전수 스캔: 4,162개 서버에 대해 2초 요청 간격으로 약 2시간에 걸쳐 실행
• 자동화 스캔 체계: 매주 전체 스캔, 매일 신규 서버 감지용 차분 스캔으로 주간 업데이트

Impact

• 4,162개 서버 중 3,040개(73%)가 도구 정의 노출 없음: 에이전트 검색 시 완전히 불가시
• 1,122개 가시 서버의 평균 ToolRank 점수: 84.7/100
• 점수 대역 분포: Dominant(85-100점) 677개(60%), Preferred(70-84점) 406개(36%), Selectable(50-69점) 39개(3.5%)
• 품질 기준 준수 도구의 선택 확률: 72% vs 비준수 20% → 3.6배 차이
• 상위 점수 서버들의 공통점: 명확한 행동동사로 시작하는 설명, "언제 사용" 문맥 포함, 필수 필드 정의, 도구 개수 15개 이하 유지

Key Takeaway

AI 에이전트가 도구를 자율적으로 발견·선택·실행하려면 SEO와 유사한 최적화가 필수이며, 설명에 "Use this when..." 추가, 필수 필드 정의 등의 5분 단위 변경이 실제 API 호출과 트랜잭션으로 직결되는 측정 가능한 임팩트를 생성한다.