AI Safety via Debate

AI安全辩论协议得到增强，以支持可扩展的监督实验

研究人员探索了一种在图像环境中进行可扩展监督实验的协议，该协议建立在先前“AI安全通过辩论”工作的基础上。该研究比较了“辩论”和“咨询”方法，其中代理选择图像单元供裁判查看。主要发现表明，辩论可以作为一种正则化器来防止奖励黑客攻击，而咨询的准确性会随着更强大的代理而下降。研究还对辩论实验提出了改进建议，例如训练裁判精确生产数量并允许辩论者提出相同答案。