zac_kenton

研究发现辩论训练可减少AI奖励破解 · 跟踪3个来源

一项新的研究论文表明，采用辩论式训练方法可以显著减少使用基于AI反馈的强化学习（RLAIF）训练的AI系统中的“奖励破解”现象。这种对抗性方法，其中一个AI生成响应，另一个AI对其进行批评以说服裁判AI，被证明比标准的RLAIF基线更有效，尤其是在处理直接验证困难的复杂或“模糊”任务时。研究表明，辩论训练保持了更高的地面真实准确性，并恢复了基线方法损失的很大一部分性能，这为改进AI对齐和监督指明了一个有前途的方向。