PulseAugur
中
实时 12:26:27
English(EN) Done, But Not Sure: Disentangling World Completion from Self-Termination in Embodied Agents

新的VIGIL框架将AI智能体任务完成与终止报告分开

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个名为VIGIL的新评估框架，以更好地评估具身AI智能体。VIGIL将智能体完成任务的能力与其正确终止和报告完成的能力分离开来。这种区分至关重要，因为当前的基准测试常常无法区分那些实现了目标但不停止的智能体，或者在没有足够证据的情况下报告成功的智能体。VIGIL的协议允许对世界状态完成和基准成功进行单独评分，揭示了在执行能力相似的模型之间高达19.7个百分点的性能差异。 AI

影响 为评估具身AI提供了一种更精细的方法，有望带来更强大、更可靠的智能体。

排序理由 该集群包含一篇详细介绍AI智能体新评估框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Ying Chen, Lihuang Fang, Rui Jiang, Mingxu Wang, Zhifeng Gu, Lei Yi, Jie Chen ·

    完成但未确定：在具身智能体中区分世界完成与自我终止

    arXiv:2605.08747v4 Announce Type: replace Abstract: Standard embodied evaluations do not independently score whether an agent correctly commits to task completion at episode closure, a capacity we call terminal commitment. Behaviorally distinct failures--never completing the task…

相关话题