Self-Driving Chemical Laboratories

新的BEAKER基准测试了AI在化学实验室中的具身推理能力

研究人员推出了BEAKER，这是一个旨在评估多模态大语言模型（MLLMs）在自动驾驶化学实验室中的具身能力的新基准测试。该基准测试包含1000个专家策划的跨11种任务类型的问答样本，侧重于可供性基础、轨迹规划和安全识别等方面。对28个MLLMs的初步评估显示，尽管当前模型能够遵循一般程序，但在精确动作基础、细粒度设备识别和复杂实验步骤排序方面存在困难，突显了程序理解与实际实验室执行之间的差距。