onepot-Bench 0

新的基准套件评估人工智能在合成化学中的应用

研究人员推出了 onepot-Bench 0，这是一个旨在评估语言模型在合成化学领域能力的新基准套件。该基准包含三项不同的评估：ChemAbacus 用于化学信息学素养和数值推理，SynthRefusal 用于评估针对各种药物靶点的安全性和拒绝行为，SynthBench 用于使用专有实验数据预测反应结果和催化剂选择。目标是更准确地衡量语言模型在湿式实验室环境中的实际效用，超越现有可能依赖于训练数据的评估。