TruthInsightBench

新基准TruthInsightBench评估AI科学发现能力

研究人员推出了TruthInsightBench，这是一个旨在评估自主代理科学发现能力的新基准。与侧重于重现已知结果的现有基准不同，TruthInsightBench向代理提供盲任务和冻结数据，要求它们自行确定和证明其主张。该基准通过六个证据成熟度维度来评估代理，并进行自动化评分以确保可重复性。对四个编码代理的初步测试显示性能停滞不前，表明虽然代理能够胜任地执行和记录分析，但它们在真正发现所需的关键科学判断方面存在困难。