JevAdvBench

新基准JevAdvBench测试RLCD模型鲁棒性

研究人员开发了JevAdvBench，这是一个新颖的基准，旨在评估使用强化学习进行校准决策（RLCD）训练的模型的鲁棒性。该基准解决了衡量RLCD模型可靠性的挑战，特别是当相同的请求可能产生不同的输出且外部标签稀缺时。JevAdvBench采用独特的评分方法，将攻击性决策与模型自身的干净决策和重新运行结果进行比较，而不是依赖外部标签。该套件包含66个场景下的812个问题，以及近10,000个变体的黑盒攻击集，旨在识别RLCD应用中的漏洞。