Computational reproducibility

新基准 CORE-Bench 测试 AI 代理的科学可复现性

研究人员推出了 CORE-Bench，这是一个旨在评估 AI 代理执行计算可复现性任务能力的新基准。该基准包含 270 个任务，源自计算机科学、社会科学和医学领域的 90 篇科学论文，具有不同的难度级别，并包括纯语言和视觉语言挑战。开发了一个评估系统来加速评估过程，并使用 GPT-4o 和 GPT-4o-mini 模型测试了 AutoGPT 和专门的 CORE-Agent 等基线代理。表现最好的代理在最困难的任务上达到了 21% 的准…