实体 AblationBench

AblationBench

PulseAugur coverage of AblationBench — every cluster mentioning AblationBench across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_65688 · Jun 2 · 04:00

AI代理在规划科学消融实验方面接受评估

研究人员开发了AblationBench，这是一个新的基准套件，旨在评估AI代理在经验性AI研究中规划消融实验的能力。该基准包括两项任务：一项是作者根据方法部分提出消融，另一项是审稿人识别完整论文中缺失的消融。目前的前沿语言模型在这些任务上表现不佳，表现低于人类水平，最好的模型只能识别约45%的必要消融。