PulseAugur
中
实时 12:19:15
English(EN) VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies

新的 VAKRA 基准揭示 AI 代理在多跳推理方面存在困难

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了 VAKRA，这是一个新的基准，旨在评估与结构化 API 和文档集合交互的 AI 代理的多跳推理能力。该基准包含 62 个领域的 8,000 多个可执行 API，以及难度递增的任务，包括策略约束。使用固定的 ReAct 框架进行的初步评估显示，即使是最先进的模型在复杂推理方面也存在困难，随着推理深度的增加，性能会显著下降，并且在遵守工具使用策略时会出现严重故障。 AI

影响 突显了当前 AI 代理推理能力存在的重大局限性，尤其是在复杂的 API 交互和策略遵循方面。

排序理由 该集群描述了一篇介绍用于评估 AI 代理的基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的 VAKRA 基准揭示 AI 代理在多跳推理方面存在困难

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Ankita Rajaram Naik, Anupama Murthi, Benjamin Elder, Siyu Huo, Raavi Gupta, Abhinav Jain, Praveen Venkateswaran, Abdulhamid Adebayo, Danish Contractor ·

    VAKRA：评估工具使用策略下跨 API 和检索的多跳推理

    arXiv:2608.12282v1 Announce Type: new Abstract: Agents deployed in enterprise settings must reason across structured APIs and document collections, yet existing benchmarks evaluate these capabilities in isolation. We introduce VAKRA (e\textbf{V}aluating \textbf{A}PI and \textbf{K…

相关实体

相关话题