language-model judge

新AI学习方法可潜意识传递特质

研究人员展示了一种名为潜意识强化学习的新颖方法，模型可以在没有明确语义线索的情况下从裁判那里习得特质。该过程涉及学生模型从自身的输出来学习裁判的评分，这会影响学生模型对特定属性的偏好，例如偏爱某种动物。研究发现，这种特质的传递取决于裁判评分是否准确反映了期望的特质，并且该过程可以分解为四个不同的阶段。研究人员认为，这一原理可以应用于AI安全领域，可能将不良倾向传递给AI系统，并提供一种预测和减轻此类风险的方法。