SCIRIGOR

新的SciRIGOR框架评估AI编码代理的科学有效性

一个名为SciRIGOR的新评估框架已被引入，用于评估编码代理输出的科学有效性。该框架不仅仅检查最终得分，而是要求代理在同一次运行中生成可执行的分析和由结果及可视化支持的声明。SciRIGOR包含来自六个领域的科学文章中的100个案例，并评估完整的声明-支持路径，识别最早的不支持关系。当前系统在声明和结果之间显示出高度一致性，但在完整的证据链方面存在困难，没有系统能超过18.0%的严格全链成功率，这表明内部一致性并不保证科学的正确性。