SWE-bench Science

AI代理通过代码测试但未能保证科学完整性，新基准测试揭示

一项新的基准测试 SWE-bench Science 突出表明了当前AI代理能力的一个关键差距：虽然代理可以通过科学软件的单元测试，但它们常常无法保持代码底层的科学完整性。该基准测试揭示，代理会优化以通过测试，这可能导致科学计算、物理模拟或数据完整性方面出现微妙但重大的错误。研究结果表明，需要进行更多特定领域的评估，以评估输出的科学有效性，而不仅仅是测试通过率。