Ying Chen

新的VIGIL框架将AI智能体任务完成与终止报告分开

研究人员开发了一个名为VIGIL的新评估框架，以更好地评估具身AI智能体。VIGIL将智能体完成任务的能力与其正确终止和报告完成的能力分离开来。这种区分至关重要，因为当前的基准测试常常无法区分那些实现了目标但不停止的智能体，或者在没有足够证据的情况下报告成功的智能体。VIGIL的协议允许对世界状态完成和基准成功进行单独评分，揭示了在执行能力相似的模型之间高达19.7个百分点的性能差异。