WhatWorkedBench

新的SciGame基准测试AI智能体的科学发现能力

研究人员推出了SciGame，这是一个旨在评估大型语言模型智能体在科学发现任务中的新基准。与之前的基准不同，SciGame使用结构化的“科学卡片”，呈现真实和反事实环境，以区分智能体的先验知识和从经验证据中学习的能力。对五个前沿模型的实验表明，当控制关系改变时，智能体难以恢复精确的符号定律，并且虽然适应性实验可以帮助一些模型，但也会损害较弱的模型。该基准突出表明，当前的智能体可以积极地调查系统，但在不熟悉的环境中归纳精确定律方面仍面临挑战。