实体
Jonah Brown-Cohen
Jonah Brown-Cohen
PulseAugur coverage of Jonah Brown-Cohen — every cluster mentioning Jonah Brown-Cohen across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
研究发现辩论训练可减少AI奖励破解 · 跟踪3个来源
一项新的研究论文表明，采用辩论式训练方法可以显著减少使用基于AI反馈的强化学习（RLAIF）训练的AI系统中的“奖励破解”现象。这种对抗性方法，其中一个AI生成响应，另一个AI对其进行批评以说服裁判AI，被证明比标准的RLAIF基线更有效，尤其是在处理直接验证困难的复杂或“模糊”任务时。研究表明，辩论训练保持了更高的地面真实准确性，并恢复了基线方法损失的很大一部分性能，这为改进AI对齐和监督指明了一个有前途的方向。
-
新的AI辩论协议解决了混淆问题，以实现更好的人工监督
研究人员开发了一种新的递归辩论协议，旨在提高训练AI系统时人工监督的准确性。该协议解决了“混淆论点问题”，即不诚实的AI可以迫使诚实的对手执行计算上不可行的任务。新方法旨在确保诚实的辩论者可以使用相对于对手计算效率更高的一种策略来获胜，从而提高AI生成判断的可靠性。