LabOSBench

新基准LabOSBench测试AI代理在科学仪器控制方面的能力

研究人员推出了LabOSBench，这是一个旨在评估计算机使用代理在科学仪器控制方面能力的新基准。该基准利用基于网络的模拟器来克服在物理仪器上测试代理的实际挑战，例如成本和安全风险。LabOSBench包含八个仪器模拟器中的96个子任务，涵盖了一系列科学工作流程。初步实验表明，虽然当前的代理可以处理结构化任务，但它们在反馈驱动的操作和长时程执行方面存在困难。