CausalGame

新的CausalGame基准测试揭示LLM智能体缺乏可靠的因果推理能力

一项名为CausalGame的新基准测试已被开发出来，用于评估大型语言模型（LLM）智能体的因果推理能力，特别是在科学发现的背景下。该基准测试使用交互式游戏来测试LLM智能体识别因果关系的能力，区分它们与单纯的相关性，并考虑选择偏差、测量误差和隐藏混淆因素等问题。在涉及14种不同场景的测试中，即使是表现最好的LLM智能体也未能展现出可靠的因果推理能力，得分远低于分析最优值。