研究人员推出了 ToolRobustBench,这是一个新的基准测试,旨在评估和诊断工具调用代理的失败情况。工具调用代理是使用外部工具完成任务的 LLM 系统。该基准测试系统地引入了四类扰动——工具接口、用户意图、工具输出/观察和运行时环境——以查明工具使用流程中的具体失败点。涉及多个 LLM 和工具的实验揭示了鲁棒性显著下降,其中工具输出/观察扰动被确定为主要瓶颈,凸显了对更鲁棒的工具调用能力的需求。 AI
影响 增强了对 LLM 代理鲁棒性的评估,指导开发更可靠的工具集成。
排序理由 该集群包含一篇介绍用于评估 LLM 工具调用能力的新基准测试的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- LLMs
- runtime-environment perturbations
- tool calling
- tool-interface perturbations
- tool-output/observation perturbations
- ToolRobustBench
- tool-use pipeline
- user-intent perturbations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →