一个名为PerSo的新基准已被开发出来，用于评估大型语言模型（LLM）在真实说服场景中的社交智能。该基准使用来自Reddit的ChangeMyView社区的对话，评估认知智能（推断心理状态）和行为智能（选择适当的社交行为）。初步评估表明，LLM的性能通常随着模型规模的增加而提高，最强的模型在行为任务上略微优于人类，而人类在认知任务上仍然领先。 AI
影响 该基准可以推动对LLM社交推理的进一步研究，并提高AI在细致的人类互动中的能力。
排序理由 该集群描述了一篇介绍用于评估LLM能力的基准的新学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.20548v1 Announce Type: new Abstract: Understanding the social intelligence of large language models (LLMs) is increasingly important for applications involving human-AI interaction and multi-agent environments. Social intelligence comprises two aspects: cognitive intel…
Understanding the social intelligence of large language models (LLMs) is increasingly important for applications involving human-AI interaction and multi-agent environments. Social intelligence comprises two aspects: cognitive intelligence, the ability to infer others' mental sta…