ReplicationBench

新AI工具VERITAS自动化科学研究复现

研究人员开发了VERITAS，一个旨在利用AI驱动的编码代理自动化科学研究复现的新型框架。与以往特定基准的工具不同，VERITAS是一个领域无关的系统，可以处理研究论文和代码库，以提取主张、执行方法并评估发现。该框架生成一个加权的复现分数（Replication Score）以及遇到的和已解决问题的详细日志，在CORE-Bench和ReplicationBench等既定基准上展示了最先进的性能。