Social World Model

研究揭示了社会世界模型评估的鸿沟

对1999年至2026年间发表的113篇论文的最新审计显示，在评估社会世界模型方面存在显著的鸿沟。虽然许多研究评估了系统在谈判等任务中达成有利结果的能力，但很少有研究直接衡量模型对人类反应预测的准确性。在审查的主要评估中，只有两项还将明确的反应预测与实际人类反应进行了比较，并且这些预测使用了行动选择时可用的信息。对25项语言模型工作的进一步检查发现，没有实验符合这些特定标准，这表明在评估社会世界模型的预测能力方面存在更广泛的问题。