ToolBench
PulseAugur coverage of ToolBench — every cluster mentioning ToolBench across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Apple研究比较LLM工具发现：复杂任务中，先规划后检索优于检索后规划
Apple Machine Learning Research 发布的这项研究比较了LLM代理中两种工具发现架构：检索后规划（RtP）和先规划后检索（PtR）。研究发现，RtP对于单工具查询更有效，而PtR在多工具查询方面表现更佳，存在一个依赖于复杂度的交叉点。这项在ToolBench基准上进行、涉及多达47,000个API的评估研究，还识别出PtR中的一种“存根幻觉”失败模式，并分析了推理成本的权衡。
-
新的水印方法增强了大型语言模型代理的溯源能力，使其更能抵抗伪造
研究人员开发了一种名为语义行为水印（SBW）的新方法，可以在不改变其输出令牌的情况下，将溯源信息嵌入到大型语言模型代理的行为中。与之前容易受到简单释义或伪造攻击的方法不同，SBW 基于语义行为集群，并使用带密钥的抗碰撞分箱技术来防止对手创建伪造的轨迹。该方法在各种大型语言模型代理和基准测试中表现出对释义和伪造的鲁棒性显著提高，但并未完全解决链式重放攻击。
-
新的水印方法增强了大型语言模型代理的溯源能力，使其能够抵抗伪造
研究人员开发了一种名为语义行为水印（SBW）的新方法，用于将溯源信息嵌入到大型语言模型代理的行动选择中。与之前容易受到简单释义攻击或可能被伪造的方法不同，SBW基于语义行动集群，并使用带密钥的抗碰撞分箱来防止对手创建虚假轨迹。这种方法在对抗释义和伪造尝试方面表现出显著的鲁棒性提升，适用于多种代理模型和基准测试，尽管它会以水印容量为代价。
-
Google 的 ToolGrad 框架将 LLM 工具使用数据生成准确率提升至 99.8%
来自 Google、东京大学、RIKEN AIP 和东北大学的研究人员开发了 ToolGrad，这是一个用于为大型语言模型生成工具使用数据集的新颖框架。与之前的查询优先方法不同，ToolGrad 首先构建一个经过验证的工具使用链，然后生成匹配的用户查询，从而显著提高效率和准确性。该方法在数据生成方面达到了 99.8% 的通过率，比现有方法有了实质性改进。使用 ToolGrad 数据进行微调的模型，如 Gemma-3，在 Berkele…
-
Google AI 推出 ToolGrad，用于高效生成 AI 代理工具使用数据集
Google AI 研究人员开发了 ToolGrad，这是一个用于生成数据集以训练 AI 代理工具使用能力的新框架。与以往从用户查询开始的方法不同，ToolGrad 首先生成工具使用链，然后创建相应的用户提示。这种“先回答后提问”的方法更高效、成本更低，能够生成复杂、长周期的工具使用数据。在 ToolGrad 生成的数据上训练的模型表现出卓越的性能，甚至在未见过工具上超越了最先进的专有模型。
-
Arcade.dev 收购 Smithery 以统一 AI 代理工具的发现和执行
Arcade.dev 已收购用于发现和运行 AI 代理工具的平台 Smithery，以将其注册表与 Arcade 的安全操作层集成。此举旨在为企业提供一个统一的解决方案来管理 AI 代理，包括工具发现、授权和审计。此次收购解决了随着 AI 代理进入生产环境，对可靠且安全的代理工具集成日益增长的需求。
-
新的HYSET方法通过整体评估工具集来改进LLM代理工具检索 · 跟踪3个来源
研究人员推出了一种名为HYSET的新方法，用于大型语言模型（LLM）代理的集级工具检索。与评估单个或顺序工具的现有方法不同，HYSET将整个工具集视为一个单元，在工具共调用超图上进行超边预测。这种方法捕捉了工具集内工具的联合效用和兼容性，甚至考虑了与大小相关的交互。HYSET作为一个预选模块，可以在不改变下游代理的情况下进行集成。在ToolBench基准测试上的实验表明，它在检索准确性和整体任务成功率方面均优于当前最先进的方法，并展现…
-
新的TRACE水印确保LLM代理轨迹的来源
研究人员开发了TRACE，一种新颖的双通道水印，旨在确保LLM代理轨迹的来源。该系统能够抵御可能试图重新品牌化或替换代理的对手，因为它将水印直接嵌入到轨迹日志中。TRACE利用一个基于局部内容进行无失真动作选择的选择通道，以及一个基于日志骨架以在重写下保持不变的计数通道，从而确保即使日志被篡改也能进行归因。
-
AI代理使用自动化技能描述优化来提高路由准确性
研究人员开发了一个自动管道来优化企业AI代理的技能描述，显著减少了防止查询路由错误的工程工作量。该管道在一个拥有9个技能的生产代理上达到了79.2%的平均F1分数，与手动调整的描述相匹配，同时将过程速度提高了32倍。研究发现，使用反馈案例的单次LLM重写是最有影响力的组成部分，它提高了路由准确性，并识别出需要进行架构更改而非文本级别调整的情况。
-
CoHyDE方法通过协同训练的编码器和重写器改进LLM代理工具检索
研究人员开发了CoHyDE，一种新颖的迭代协同训练方法，旨在增强LLM代理的工具检索能力。该方法联合训练一个密集编码器和一个LLM重写器，解决了用户口语化查询与技术API目录之间的词汇不匹配问题。CoHyDE通过使编码器和重写器协同进化并更好地与工具目录对齐，展示了显著的改进，尤其是在模糊查询方面。
-
NaviAgent 通过双层规划改进 LLM 工具编排
研究人员开发了 NaviAgent，一个旨在改进大型语言模型（LLM）如何编排使用外部工具的新系统。NaviAgent 采用双层架构，将任务规划与工具执行分开，并使用基于图的模型来理解数百甚至数千个工具之间的关系。这种方法旨在通过允许代理独立于工具间的复杂性来规划工具链，从而减少错误并提高可扩展性。在 API-Bank 和 ToolBench 等基准测试上的评估表明，任务成功率显著提高，尤其是在复杂任务方面。
-
Cocoreli架构强制执行前置条件以实现可靠的指令遵循
研究人员推出了一种名为 Cocoreli 的新颖架构，旨在提高自主代理执行人类指令的可靠性。Cocreli 通过将缺失信息的检测与执行阻塞在结构上耦合，解决了代理在指令不完整或不明确的情况下仍继续执行操作的问题。这确保了代理只有在满足所有必要的前置条件后才执行任务，从而防止不正确或不安全的行为。该系统在受控环境和 API 工作流任务中已证明了其有效性，在防止未解决规范下的执行方面优于现有的推理方法。
-
AgentHER框架通过失败轨迹重标记提升LLM代理训练
研究人员开发了AgentHER，一个旨在通过重新利用失败轨迹来改进LLM代理训练的新框架。该系统将后视经验回放（Hindsight Experience Replay）应用于自然语言，识别失败尝试中其他可实现的目标。此方法将丢弃的数据转化为有价值的训练材料，显著提高了各种模型规模下代理的性能和数据效率。