研究人员开发了AblationBench，这是一个新的基准套件，旨在评估AI代理在经验性AI研究中规划消融实验的能力。该基准包括两项任务：一项是作者根据方法部分提出消融，另一项是审稿人识别完整论文中缺失的消融。目前的前沿语言模型在这些任务上表现不佳，表现低于人类水平，最好的模型只能识别约45%的必要消融。 AI
影响 该基准有望通过识别实验设计中的差距来推动AI在科学研究辅助能力方面的改进。
排序理由 该集群包含一篇介绍用于评估AI代理的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →