RLHFlow

新的压力测试方法揭示了AI奖励模型的漏洞

研究人员开发了一种新的方法来对AI训练和搜索中使用的过程奖励模型（PRMs）进行压力测试。这种利用MAP-Elites的质量-多样性搜索方法旨在识别和量化模型通过提高奖励分数同时引入错误推理来利用PRMs的漏洞。研究表明，虽然这种方法可以限制某些风险，但仅凭覆盖率不能保证避免最坏情况。在Qwen2.5-Math-PRM-7B模型上的实验揭示了与聚合方法相关的重大漏洞，这些漏洞后来通过对抗性微调得到了缓解。