selection bias

新基准 CausalGame 测试大型语言模型智能体的因果推理能力

研究人员推出了 CausalGame，这是一个旨在评估大型语言模型 (LLM) 智能体因果思维能力的新基准。该基准通过纳入选择偏差、测量误差和隐藏混淆因素等现实世界挑战，解决了现有 AI 科学家评估的局限性。CausalGame 要求 LLM 智能体在 14 个不同的场景中主动设计实验、收集数据并报告结果。对 30 个 LLM 智能体的初步测试显示，没有一个表现出可靠的因果推理能力，表现最好的模型得分远低于分析最优值。