SciPaths

新基准SciPaths测试AI预测科学发现路径的能力

研究人员推出了SciPaths，这是一个旨在通过识别赋能性贡献及其对先前工作的依赖性来预测科学发现路径的新基准。与专注于引文预测等更简单任务的现有基准不同，SciPaths要求模型从目标贡献向后推理到必要的构建块。对当前前沿和开源语言模型的评估表明，即使是最好的模型也难以进行这种复杂的推理，F1分数仅为0.189，表明准确恢复方法论依赖性仍然是一个重大挑战。