研究人员开发了一个新的基准,用于评估大型语言模型(LLMs)在“狼人杀”等社交推理游戏中的表现,重点关注它们的信念如何根据指控而转变。研究发现,虽然较大的LLMs能更好地区分狼人和村民,但它们仍然深受指控的影响,特别是当指控来自可信来源时,即使该来源是狼人。研究结果表明,当前开放权重LLMs在战略沟通中难以平衡来源信任与指控内容。 AI
影响 这项研究突显了LLM推理和信任评估方面的局限性,指出了在处理细微的社交互动和信息整合能力方面的改进方向。
排序理由 学术论文,详细介绍了一个用于LLM评估的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →