SupraPMC

新基准SupraBench评估大语言模型在超分子化学中的能力

研究人员推出了SupraBench，这是一个旨在评估大语言模型（LLMs）在超分子化学领域能力的新基准。该基准解决了对LLMs在结合亲和力预测和主客体推理等任务上进行系统性评估的需求，这些任务对于加速分子组装设计至关重要。与SupraBench一同发布的还有一个名为SupraPMC的1600万token语料库，以帮助LLMs适应这一专业领域。初步的基准测试显示，各种LLMs仍有很大的改进空间，领域适应性根据任务的不同，结果喜忧参半。