PulseAugur
中
实时 19:35:45
English(EN) ToolRobustBench: Stage-Wise Perturbation Evaluation and Failure Diagnosis for Tool-Calling Agents

新的基准测试 ToolRobustBench 诊断 LLM 工具调用失败

研究人员推出了 ToolRobustBench,这是一个新的基准测试,旨在评估和诊断工具调用代理的失败情况。工具调用代理是使用外部工具完成任务的 LLM 系统。该基准测试系统地引入了四类扰动——工具接口、用户意图、工具输出/观察和运行时环境——以查明工具使用流程中的具体失败点。涉及多个 LLM 和工具的实验揭示了鲁棒性显著下降,其中工具输出/观察扰动被确定为主要瓶颈,凸显了对更鲁棒的工具调用能力的需求。 AI

影响 增强了对 LLM 代理鲁棒性的评估,指导开发更可靠的工具集成。

排序理由 该集群包含一篇介绍用于评估 LLM 工具调用能力的新基准测试的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的基准测试 ToolRobustBench 诊断 LLM 工具调用失败

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该集群包含一篇介绍用于评估 LLM 工具调用能力的新基准测试的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
paper, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
88 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · YiShan Zheng, Yuan Wu, Yi Chang ·

    ToolRobustBench:工具调用代理的阶段式扰动评估与故障诊断

    arXiv:2608.23635v1 Announce Type: cross Abstract: Large language models (LLMs) rely on tool calling as a fundamental agent capability, enabling them to invoke external systems and complete tasks beyond text generation. However, clean end-to-end (E2E) success cannot identify where…