MCPMark
PulseAugur coverage of MCPMark — every cluster mentioning MCPMark across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
模型上下文协议(MCP)标准化了AI代理与工具和数据的交互
模型上下文协议(MCP)正成为使AI代理能够与外部工具和数据交互的关键标准。最近的进展包括一篇介绍EvoMCP的研究论文,这是一个用于共同演化AI代理及其训练数据以应对不断发展能力的框架。多个项目正在利用MCP将AI代理连接到各种系统,例如控制真实的iPhone和Android手机,通过无服务器AWS基础设施访问企业数据湖,以及与联络中心系统集成。此外,MCP还被用于构建AI安全防护,管理项目工作流,并将个人书签转化为代理知识库,展示…
-
新的 FireFly 管道从真实 API 生成已验证的工具调用数据
研究人员开发了 FireFly,一个用于从真实世界 API 生成已验证的工具调用数据的新型管道。该方法从观察到的结果向后合成任务,通过构造确保标签的正确性。该管道通过使用成对工具图和用于离线、可复现强化学习的检索增强模拟器来解决大规模工具空间带来的挑战。一个在 FireFly 数据上使用 GRPO 训练的 4B 参数模型在工具调用基准测试上的表现与 Claude Sonnet 4.6 相当。
-
Nanbeige4.2-3B 模型已修复 Apple Silicon 部署问题
一篇新论文详细介绍了在 Apple Silicon 上部署 Nanbeige4.2-3B 模型(一个拥有 30 亿参数、采用 Looped Transformer 架构的 agentic 模型)所面临的挑战及解决方案。研究人员发现了五个阻止该模型在 Hugging Face Transformers 上运行的关键 bug,包括 RoPE 缓冲区和 API 调用问题。此外,该模型的层重用策略导致了显著的内存开销,限制了其有效上下文宽度。…
-
InsForge MCP 在新的 Claude Sonnet 4.6 基准测试中领先 Supabase MCP
InsForge 更新了其 MCPMark 基准测试结果,现使用 Anthropic 的 Claude Sonnet 4.6。该基准测试在 21 项真实数据库任务上比较 InsForge 的 MCP 层与 Supabase 的 MCP 层,结果显示 InsForge 在准确性和令牌效率方面保持领先。使用 Claude Sonnet 4.6,InsForge 实现了 28% 的更高 Pass⁴ 准确率,并使用了比 Supabase MC…