新基准揭示视觉语言模型无法将心智理论转化为行动

研究人员开发了MOSAIC，一个旨在衡量视觉语言模型（VLM）将心智理论（ToM）推理转化为协调的社会行动的能力的新基准。在对包括11个VLM在内的13个模型的评估中发现，这些模型在产生符合ToM约束的行为方面存在困难，并且在施加明确的ToM约束时没有表现出显著的行为改变。分析表明，在生成连贯的非语言信号以及解释和响应其他代理行为方面存在瓶颈。一个名为PCM-LLM的模型，它整合了一个明确的ToM模块，在所有条件下都取得了成功，这表明整合信念-行动耦合对于这些任务至关重要。 AI

影响 这项研究突显了当前AI在进行细微社会互动方面的关键局限性，表明需要改进信念-行动耦合的架构，以实现更复杂的AI代理。

排序理由 该集群包含一篇详细介绍新基准和AI模型评估的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• alphaXiv
• arXiv
• DagsHub
• Gotit.pub
• Hugging Face
• MOSAIC
• PCM-LLM
• ScienceCast
• theory of mind
• vision-language model

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →