PulseAugur
中
实时 23:01:29
实体 ChemInsight

ChemInsight

PulseAugur coverage of ChemInsight — every cluster mentioning ChemInsight across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_361616 ·

    新的ChemInsight基准揭示LLM在化学领域表现不佳

    研究人员开发了ChemInsight,一个用于评估大语言模型(LLMs)在化学领域能力的新基准,重点关注多步推理和化学结构理解。该基准包含50个捆绑包中的203个问题,并使用新颖的二维评分系统来评估范围和深度。对十个LLMs的初步测试显示,其表现明显偏低,范围得分低于30%,深度得分低于11%,远低于人类专家的水平。该研究还探讨了限制LLM在化学领域表现的因素、对SMILES等化学语言进行统计训练的有效性,以及领域特定语料库的影响。