新的基准 SIS-Bench 评估无人机的自我意识和空间认知能力

研究人员推出了一款名为 SIS-Bench 的新基准，旨在评估利用多模态大语言模型（MLLMs）的无人机（UAVs）的自我意识和空间认知能力。该基准解决了当前评估中存在的不足，即评估往往以环境为中心而非以代理为中心。SIS-Bench 围绕空间和自我维度组织评估，并设有感知、记忆和推理三个层级的体系结构，包含从真实无人机视频中提取的 4,856 对问答。初步评估表明，当前的 MLLMs 在处理动态的、以代理为中心的任务时存在困难，在空间认知和自我意识之间存在明显的不平衡，并且在认知层级上的表现呈下降趋势。通过光流和视觉特征融合引入运动感知表示，已显示出在空间认知和自我意识的感知和记忆方面的改进，这表明自我意识对于推进无人机的具身空间智能至关重要。 AI

影响 SIS-Bench 提供了一个新的评估框架，以推进无人机在自我意识和空间认知方面的具身人工智能能力。

排序理由 该条目描述了在 arXiv 上发布的新基准和研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• computer science
• Computer vision and pattern recognition
• Hugging Face
• Multimodal Large Language Models and Tunings: Vision, Language, Sensors, Audio, and Beyond
• SIS-Bench
• unmanned aerial vehicle

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →