ChatEval

新框架衡量大型语言模型社会中的自组织现象

研究人员开发了一个新框架来衡量大型语言模型（LLM）社会中的自组织现象，并将其应用于三个模拟的社会系统：一个Schelling网格、一个名为Moltbook的社交网络以及一个名为Rogue的虚假信息模拟。所有三个系统都表现出显著的自组织现象，其动态受环境信息的影响。研究发现，即使是经过安全调整的大型语言模型，也可能出现由协调的代理子集驱动的群体级别问题。该框架为检测多代理系统中的集体行为提供了一种轻量级、与代理无关的方法。