JRDB-AVR

新基准评估具身智能体的积极视觉推理能力

研究人员推出了JRDB-AVR，这是一个旨在评估具身智能体积极视觉推理能力的新基准。与以往侧重于被动观察的基准不同，JRDB-AVR要求智能体通过请求不同视角和时间下的特定观察来积极寻找证据。该基准源自真实世界的机器人数据，旨在通过评估最终答案和所依据的视觉证据来解决智能体提供看似合理但缺乏支持的答案的问题。实验表明，当前模型在答案准确性和证据准确性之间存在显著差距，凸显了在具身视觉推理中进行积极的、证据感知的评估的必要性。