一篇新的研究论文评估了语言模型的心智理论(ToM)能力,重点关注它们在可验证任务中推断和基于信念采取行动的能力。该研究引入了一种多层次评估方法,扩展了具有不对称信息的现有协作和调度任务。结果表明,像Claude这样的模型可以正确推断信念,但在最优规划方面存在困难,而Qwen-27B在提供信念时任务成功率有所提高,Qwen-4B则显示出信念推断与任务执行之间的脱节。 AI
影响 这项研究强调了对LLM心智理论进行更严格评估的必要性,需要超越简单的推理,转向实际的任务执行。
排序理由 该集群包含一篇在arXiv上发表的评估LLM能力的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →