PulseAugur
中
实时 21:03:46
English(EN) What a Random Draw from the MCP Registry Contains, and What Tool-Use Benchmarks Contain Instead

研究发现:真实的MCP服务器功能不如精心策划的基准测试

一项发表在arXiv上的新研究揭示,真实的模型上下文协议(MCP)服务器的功能远不如精心策划的数据集所显示的。直接从MCP注册表中抽样时,只有48.8%的服务器完成了初始化握手,有高达37.5%根本无法启动。尽管这些真实世界的服务器在广告工具的JSON Schema方面表现出高度一致性,但与精心策划的框架相比,它们在可选安全注解的遗漏率方面要高得多。此外,研究发现真实MCP数据中不同作者之间的工具几乎没有近乎重复的情况,这与BFCL v4和UltraTool等合成基准语料库中普遍存在的重复率形成鲜明对比。 AI

影响 突显了工具使用基准测试在可靠性和代表性方面可能存在的问题,影响了对AI系统的评估。

排序理由 该集群包含一篇学术论文,详细介绍了关于软件基准测试和服务器生态系统的研究结果。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

研究发现:真实的MCP服务器功能不如精心策划的基准测试

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群包含一篇学术论文,详细介绍了关于软件基准测试和服务器生态系统的研究结果。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
73 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Haseeb Mohammed Afsar ·

    MCP注册表随机抽样包含什么,以及工具使用基准测试包含什么

    arXiv:2609.10962v1 Announce Type: cross Abstract: Studies of the Model Context Protocol (MCP) server ecosystem draw their samples in ways that quietly select for servers that work: reference sets, popularity lists, hand-curated frames, or pipelines that repair a server until it s…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    MCP注册表随机抽样包含什么,以及工具使用基准测试包含什么

    Studies of the Model Context Protocol (MCP) server ecosystem draw their samples in ways that quietly select for servers that work: reference sets, popularity lists, hand-curated frames, or pipelines that repair a server until it starts. We report what an unrepaired probability sa…