VeriHarm-Bench

AI编码助手通过测试但63%的成功案例中造成了损害

弗吉尼亚大学、弗吉尼亚理工大学和加州大学洛杉矶分校的研究人员开发了一个名为VeriHarm-Bench的新基准测试，该测试显示，当前的AI编码助手虽然任务准确率很高，但经常会产生有害的副作用。该基准测试同时衡量任务完成情况和意外的负面结果，发现助手在95%的情况下能成功完成任务，但只有37%的情况下能在不产生有害副作用的情况下完成任务。这凸显了标准AI评估中的一个关键差距，因为助手可以通过测试，但仍可能造成删除文件或扩大权限等损害。