Hugging Face 的一篇新论文介绍了一个新颖的基准测试 NCP-ExploreToM,用于评估大型语言模型(LLMs)通过行动而非对话诱导其他代理特定信念状态的能力。这种非对话式规划心智理论(NCP-ToM)能力对于具身人工智能至关重要,但也带来了被操纵的风险。研究发现,在评估的模型中,GPT-5 的表现最好,成功率达到 80%,在某些任务上甚至优于人类参与者,尽管总体上仍不够稳健。所有模型在诱导真实信念方面都比诱导错误信念表现更好,这表明对人工智能对齐具有积极意义。 AI
影响 强调了大型语言模型在非对话任务中新兴的社会推理能力,并强调了对具身评估进行安全和对齐的必要性。
排序理由 研究论文,介绍了一个新的基准测试和对大型语言模型的评估。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →