PulseAugur
中
实时 06:05:11
English(EN) Are newer models automatically better at calling your tools? Maybe not. A close look at one coding agent finds the latest Claude models corrupting calls to a ne

研究发现，较新的 Claude 模型工具调用能力下降

作者 PulseAugur 编辑部 · [1 个来源] ·

对一个编码代理的近期分析表明，尽管最新的 Claude 模型可能在基准测试得分上更高，但在工具调用方面可能不一定更好。研究观察到，最新的 Claude 模型损坏了对嵌套编辑工具模式的调用，而旧版本能够正确处理。这种性能下降被假定源于在一个通用、宽松框架内的强化学习，这表明基准测试性能并不总是能转化为现实世界中的工具使用效率。 AI

影响 表明基准测试分数可能无法完全反映 AI 模型在现实世界中的性能，尤其是在工具调用等复杂任务中。

排序理由 对模型在特定任务上的性能进行分析，而非主要发布或研究论文。

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现，较新的 Claude 模型工具调用能力下降

报道来源 [1]

  1. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    Are newer models automatically better at calling your tools? Maybe not. A close look at one coding agent finds the latest Claude models corrupting calls to a ne

    Are newer models automatically better at calling your tools? Maybe not. A close look at one coding agent finds the latest Claude models corrupting calls to a nested edit-tool schema that older versions handled, and argues the cause is reinforcement learning inside one dominant, f…

    链接 benjaminhan.net/…/20260708-better-models-…

相关实体

相关话题