ReproBench

新AI系统可自动评估科学研究的可复现性

研究人员开发了Agentic Reproducibility Assessment (ARA)系统，旨在通过自动评估研究论文的可复现性来辅助科学同行评审。ARA从论文中构建工作流图，连接来源、方法和输出，然后对其可重构性进行评分。在对计算可复现性研究的大型基准测试中，ARA表现出显著的准确性，在关键评估中优于先前的方法，并显示出扩大可复现性评估规模的潜力。