SDCLs

新的BEAKER基准测试评估AI在化学实验室中的具身推理能力

研究人员推出了BEAKER，这是一个旨在评估多模态大语言模型（MLLMs）在自动驾驶化学实验室（SDCLs）中具身能力的新基准测试。BEAKER包含1000个专家策划的问答样本，涵盖11种任务类型，侧重于化学实验的关键判断，如可供性基础、轨迹规划和仪器识别。对28个MLLMs的评估显示，尽管当前模型能够掌握粗略的实验程序，但在精确动作基础、细粒度仪器识别和程序步骤排序方面存在困难，这凸显了通用理解与实际实验室执行之间的差距。