English(EN) When Agents Fail: Model or Harness--Who's to Blame?

新框架通过模型-工具交互评估LLM代理性能

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-26 04:00

一篇新发表在arXiv上的研究论文介绍了一个用于评估LLM代理性能的框架，这些代理结合了模型和执行工具。研究认为，这些代理的有效性取决于模型与其工具之间的交互，并提出了五项指标来评估这种关系：有效完成率、模型-工具匹配度、跨模型匹配度、交互残差和Token负载。该研究评估了四种通用工具与四种核心模型在六个基准测试上的表现，结果显示工具的排名因模型和任务的不同而有显著差异，并建议模型应针对可迁移的工具使用能力进行训练。 AI

影响这项研究提供了一种新的LLM代理评估方法，有望带来更可靠、更高效的代理开发。

排序理由发表在arXiv上的研究论文，详细介绍了LLM代理的新评估框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 12 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 发表在arXiv上的研究论文，详细介绍了LLM代理的新评估框架。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu · 2026-10-26 04:00

当智能体失败时：模型还是约束——谁之过？

arXiv:2610.32483v1 Announce Type: new Abstract: LLM agents combine models with execution harnesses, so agentic benchmark performance reflects their joint behavior. We argue that harnesses should therefore be evaluated through their interactions with underlying models. We develop …

本文如何被排名

报道来源 [1]

当智能体失败时：模型还是约束——谁之过？

相关实体

相关话题