研究人员开发了ChemInsight,一个用于评估大语言模型(LLMs)在化学领域能力的新基准,重点关注多步推理和化学结构理解。该基准包含50个捆绑包中的203个问题,并使用新颖的二维评分系统来评估范围和深度。对十个LLMs的初步测试显示,其表现明显偏低,范围得分低于30%,深度得分低于11%,远低于人类专家的水平。该研究还探讨了限制LLM在化学领域表现的因素、对SMILES等化学语言进行统计训练的有效性,以及领域特定语料库的影响。 AI
影响 凸显了当前LLM在化学等专业科学领域的推理能力存在的显著差距。
排序理由 该集群描述了一篇用于评估特定领域LLM的新基准论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →