Sci$\Pi$vot

新基准显示AI研究代理缺乏科学判断力

一项名为Sci$\Pi$vot的新基准测试已被开发出来，用于评估AI研究代理的科学判断能力。该基准测试包含248个案例，这些案例源于真实的研究场景，其中资深研究人员介入纠正了AI代理的决定。即使在提供了项目背景和人类纠正的替代方案后，前沿AI模型在这些案例上的表现也低于随机猜测水平，模型达到的最高准确率为63.5%，而人类研究人员为73.4%。值得注意的是，当模型能够访问项目记录时，其表现更差，并且重新考虑并未能持续提高其准确性。