一项发表在arXiv上的新研究揭示,真实的模型上下文协议(MCP)服务器的功能远不如精心策划的数据集所显示的。直接从MCP注册表中抽样时,只有48.8%的服务器完成了初始化握手,有高达37.5%根本无法启动。尽管这些真实世界的服务器在广告工具的JSON Schema方面表现出高度一致性,但与精心策划的框架相比,它们在可选安全注解的遗漏率方面要高得多。此外,研究发现真实MCP数据中不同作者之间的工具几乎没有近乎重复的情况,这与BFCL v4和UltraTool等合成基准语料库中普遍存在的重复率形成鲜明对比。 AI
影响 突显了工具使用基准测试在可靠性和代表性方面可能存在的问题,影响了对AI系统的评估。
排序理由 该集群包含一篇学术论文,详细介绍了关于软件基准测试和服务器生态系统的研究结果。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →