Ankita Rajaram Naik

新的 VAKRA 基准揭示 AI 代理在多跳推理方面存在困难

研究人员推出了 VAKRA，这是一个新的基准，旨在评估与结构化 API 和文档集合交互的 AI 代理的多跳推理能力。该基准包含 62 个领域的 8,000 多个可执行 API，以及难度递增的任务，包括策略约束。使用固定的 ReAct 框架进行的初步评估显示，即使是最先进的模型在复杂推理方面也存在困难，随着推理深度的增加，性能会显著下降，并且在遵守工具使用策略时会出现严重故障。