实体
IG-Bench
IG-Bench
PulseAugur coverage of IG-Bench — every cluster mentioning IG-Bench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的IG-Bench基准测试显示大型语言模型在科学思想谱系方面存在困难
一个新的基准测试IG-Bench已被开发出来，用于评估大型语言模型（LLMs）理解科学思想谱系的能力。在测试中，即使是最先进的系统，在追溯科学概念如何演变和继承自先前工作中，准确率也只能达到27.3%。
-
新基准评估AI的科学思想谱系推理能力 · 跟踪3个来源
研究人员推出了IdeaGene-Bench (IG-Bench)，这是一个旨在评估AI系统基于其谱系理解和生成科学思想能力的新基准。该基准将科学思想构建为“思想基因组”对象，类似于生物基因组，跟踪其继承、变异和重组。使用14个基于LLM的科学家进行的实验揭示了组合推理方面存在显著瓶颈，表现最好的系统在谱系推理任务上的准确率仅为27.3%。