GenomeDiff

新基准评估AI的科学思想谱系推理能力 · 跟踪3个来源

研究人员推出了IdeaGene-Bench (IG-Bench)，这是一个旨在评估AI系统基于其谱系理解和生成科学思想能力的新基准。该基准将科学思想构建为“思想基因组”对象，类似于生物基因组，跟踪其继承、变异和重组。使用14个基于LLM的科学家进行的实验揭示了组合推理方面存在显著瓶颈，表现最好的系统在谱系推理任务上的准确率仅为27.3%。