PulseAugur
中
实时 02:18:08
English(EN) ToolFailBench: Diagnosing Tool-Use Failures in LLM Agents

新的基准和方法解决了 LLM 代理工具使用失败的问题

作者 PulseAugur 编辑部 · [6 个来源] ·

研究人员正在开发新的方法来识别和缓解使用外部工具的大型语言模型 (LLM) 代理中的失败。一种方法，“少推理，多验证”，引入了确定性的预执行门来防止静默策略违规，提高了 gpt-4o-mini 等模型的成功率，甚至对 gpt-5.2 等前沿模型也显示出希望。另一个框架 AgentLocate 专注于查明导致系统范围失败的具体代理和最早的步骤。此外，ToolFailBench 提供了一个诊断性基准来对工具使用失败进行分类，揭示了 Llama-3.1 和 Qwen2.5-72B 等模型表现出不同的失败模式。最后，Vera 框架通过生成可执行的安全案例并使用基于证据的验证进行自适应沙盒执行来自动化 LLM 代理的安全测试，从而发现了生产代理框架中的重大弱点。 AI

影响 新的基准和验证技术对于提高 LLM 代理的可靠性和安全性至关重要，特别是随着它们通过工具使用获得更多自主权。

排序理由 多篇研究论文介绍了用于评估和改进 LLM 代理可靠性和安全性的新基准和方法论。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 6 个来源。 我们如何撰写摘要 →

新的基准和方法解决了 LLM 代理工具使用失败的问题

报道来源 [6]

  1. arXiv cs.AI TIER_1 English(EN) · Vikas Reddy, Sumanth Reddy Challaram, Abhishek Basu ·

    少推理，多验证：确定性门控技术揭示了工具使用LLM代理中被忽视的策略违规故障模式

    arXiv:2607.07405v1 Announce Type: new Abstract: Tool-using LLM agents can violate the very policies they are deployed to enforce while appearing to complete the task successfully. In policy-permissive environments, a tool may execute any well-formed call even when the correspondi…

  2. arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Minghong Fang ·

    谁破坏了系统？基于LLM的多代理系统中的故障定位

    Large language model (LLM) based multi-agent systems enable complex problem solving through coordinated reasoning and action, but their distributed structure also introduces new challenges in diagnosing system-level failures. When an execution fails, identifying which agent is re…

  3. arXiv cs.AI TIER_1 English(EN) · Abhishek Basu ·

    少推理，多验证：确定性门控恢复了工具使用LLM代理中一个沉默的策略违规失败模式

    Tool-using LLM agents can violate the very policies they are deployed to enforce while appearing to complete the task successfully. In policy-permissive environments, a tool may execute any well-formed call even when the corresponding state transition is forbidden by domain polic…

  4. arXiv cs.AI TIER_1 English(EN) · Harsh Soni ·

    ToolFailBench：诊断大型语言模型代理的工具使用失败

    arXiv:2607.04686v1 Announce Type: cross Abstract: Tool calling is central to modern language model agents, but aggregate benchmark scores often hide where tool use fails. A model that never calls a needed tool and a model that calls the tool but ignores the result can look simila…

  5. arXiv cs.CL TIER_1 English(EN) · Harsh Soni ·

    ToolFailBench：诊断大型语言模型代理中的工具使用失败

    Tool calling is central to modern language model agents, but aggregate benchmark scores often hide where tool use fails. A model that never calls a needed tool and a model that calls the tool but ignores the result can look similar under final task accuracy. We introduce ToolFail…

  6. Hugging Face Daily Papers TIER_1 English(EN) ·

    大规模 LLM Agent 安全测试：从风险发现到基于证据的验证

    Automated safety testing framework Vera uses a three-stage pipeline to identify and test safety risks in LLM agents through structured risk taxonomies, combinatorial case generation, and adaptive sandbox execution with evidence-based verification.

相关实体

相关话题