研究人员推出了一款名为SIS-Bench的新基准,旨在评估利用多模态大语言模型(MLLMs)的无人机(UAVs)的自我意识和空间认知能力。该基准填补了现有评估主要以环境为中心、忽视智能体自身表征的空白。SIS-Bench在空间和自我维度上组织评估,包含感知、记忆和推理三个认知处理层级,使用了源自真实无人机视频的4800多个问答对。初步研究结果表明,当前的多模态大语言模型在以智能体为中心的处理方面存在困难,在空间理解和自我意识之间存在显著不平衡,并且在更高认知层级上性能有所下降。研究还探讨了运动感知表征,证明通过光流和特征融合引入智能体运动可以显著提升空间认知和自我意识,并泛化到下游决策任务。 AI
影响 该基准通过强调多模态大语言模型中自我意识的必要性,有望推动自主系统具身智能的进步。
排序理由 该集群描述了在arXiv上发布的一个新基准和研究论文。
- arXiv
- computer science
- Computer vision and pattern recognition
- Hugging Face
- Multimodal Large Language Models and Tunings: Vision, Language, Sensors, Audio, and Beyond
- SIS-Bench
- unmanned aerial vehicle
- alphaXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →