研究人员推出Social Gym，一个旨在客观衡量和改进大型语言模型（LLM）在多智能体设置下的社交推理能力的新环境。该环境包含21种社交游戏，如“狼人杀”和“间谍过家家”，为智能体的表现提供可验证的结果。初步基准测试显示，虽然GPT-5 mini在排行榜上领先，但没有单一模型在所有游戏或角色上都表现出色，这表明当前LLM的社交推理能力存在局限性。为解决此问题，开发了SPaRTan方法，这是一个无需训练的循环，模型根据其游戏经验生成和利用剧本，以提高表现，尤其是在较弱的角色上。 AI
影响 这项研究为开发更具社交能力的AI智能体提供了一个框架，这对于需要复杂人机交互的应用至关重要。
排序理由 该集群描述了一篇介绍LLM社交推理基准和改进方法的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.MA (Multiagent) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.09128v1 Announce Type: cross Abstract: LLM agents are increasingly deployed in multi-agent social settings where they must cooperate, negotiate, and adapt to other agents. Measuring and improving these social skills is hard because, unlike math or logic, social interac…
LLM agents are increasingly deployed in multi-agent social settings where they must cooperate, negotiate, and adapt to other agents. Measuring and improving these social skills is hard because, unlike math or logic, social interaction offers no objective ground truth: evaluations…