研究人员推出了JRDB-AVR,这是一个旨在评估具身智能体积极视觉推理能力的新基准。与以往侧重于被动观察的基准不同,JRDB-AVR要求智能体通过请求不同视角和时间下的特定观察来积极寻找证据。该基准源自真实世界的机器人数据,旨在通过评估最终答案和所依据的视觉证据来解决智能体提供看似合理但缺乏支持的答案的问题。实验表明,当前模型在答案准确性和证据准确性之间存在显著差距,凸显了在具身视觉推理中进行积极的、证据感知的评估的必要性。 AI
影响 该基准有望推动更强大的具身AI智能体的发展,使其能够进行复杂的推理和证据收集。
排序理由 该集群描述了一个用于评估AI智能体的新基准,该基准发表在arXiv论文中。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →