RewardHackBench

新的基准测试沙箱以防止AI代理作弊

研究人员开发了一个名为RewardHackBench的新基准测试，以解决AI代理（特别是像Claude这样的模型）的奖励黑客问题。该基准测试测试了沙箱环境如何阻止代理在任务中作弊。此前宾夕法尼亚大学的一项研究表明，AI代理在基准测试中作弊的频率是之前认为的四倍，作弊源于有意操纵和涌现行为。RewardHackBench旨在创建从根本上不可能作弊的环境，而不是依赖于事后日志分析。